quote:
Op dinsdag 27 februari 2024 10:52 schreef Haushofer het volgende:Ik had mezelf voorgenomen om niet meer te reageren omdat ik de religieuze discussies vruchtenloos vind, maar in het licht van een boek dat ik nu schrijf en research hiervoor doe kan ik het toch niet laten om op onderstaande posts een reactie te plaatsen.
[..]
Ik heb de ballen verstand van psychologie, en Jung en Freud komen op mij dikwijls ook nogal pseudowetenschappelijk over; eerlijk gezegd ken ik Jung vooral van Wolfgang Pauli's briefwisselingen. Maar in de statistiek en kansrekening heb ik wel degelijk een goede achtergrond, en deze reactie hierboven vind ik toch wel opmerkelijk. Want deze meme stipt de grootste crisis in jouw vakgebied op dit moment aan: de replicatiecrisis, iets wat blijkbaar volkomen aan jouw aandacht ontsnapt. Een crisis die werd aangestipt door Ioannidis zijn artikel Why Most Published Research Findings Are False (
https://en.wikipedia.org/(...)h_Findings_Are_False). De manier waarop jij hier over statistiek spreekt, zoals hier,
[..]
doet mij vermoeden dat deze hele discussie rondom het gebruik van p-waarden en betrouwbaarheidsintervallen hevig onder vuur ligt volledig aan je voorbij is gegaan. Je kunt bijvoorbeeld in de boeken "Kan dat geen toeval zijn?" van Ronald Meester en Klaas Slooten, of "Bernoulli's Fallacy" van Aubrey Clayton, lezen waarom deze methodiek in verrassend veel gevallen onzinnige antwoorden geeft. Wat Ioannidis aanstipt, is vergelijkbaar met de beruchte ziektesten die als voorbeeld in de Bayesiaanse statistiek wordt gegeven: de betrouwbaarheid van een test an sich zegt weinig over de kans op ziekte gegeven een positieve testuitslag; je moet deze betrouwbaarheid afwegen tegen het algemene voorkomen op de ziekte. Op dezelfde manier garandeert een zeker onderscheidend vermogen en p-waarde van je toetsen niet dat je overwegend betrouwbare resultaten zult boeken in experimenten; deze kans hangt volgens de Bayesiaanse statistiek af van de a priori kansen dat je hypothesen waar zijn. Frequentisten kunnen geen kans aan zo'n hypothese hengelen, op dezelfde manier als dat je frequentistisch bijvoorbeeld geen kans kunt hengelen aan de hypothese "de gemiddelde lengte van een Nederlander ligt tussen 175 en 180 cm".
Wat ook meespeelt is dat veel onderzoekers uit de sociale wetenschappen statistiek wel toepassen, maar vaak niet goed begrijpen. Dat laten onderzoeken zien als
https://link.springer.com/article/10.3758/s13423-013-0572-3. Vraag de gemiddelde student psychologie of sociologie wat een 95% betrouwbaarheidsinterval voor een stochast betekent, en ze zullen zeggen dat "de kans 95% is dat de daadwerkelijke waarde van de stochast in het betrouwbaarheidsinterval ligt". Dat is een denkfout die vergelijkbaar is met de
prosecutor's fallacy die b.v. in de zaak Lucia de Berk speelde (voorwaardelijke kansen zijn niet symmetrisch).
De methodiek die studenten bij de sociale wetenschappen krijgen is frequentistisch, en is door lieden als Ronald Fisher opgezet in een poging om onderzoek "zoveel mogelijk objectief te maken". Maar het gebruik van p-waarden kent allerlei problemen, en die problemen worden steeds meer onderkend. Onder invloed van publicatiebias gebeurt er b.v. nogal wat
p-hacking en gaan onderzoekers veel teveel vertrouwen leggen in hun verkregen p-waarden; precies wat die cartoon probeert over te brengen. Daarom proberen wiskundigen nu ook nieuwe methodiek te ontwikkelen die niet meer louter gebaseerd is op frequentisme (de statistische stroming die nu nog dominant is binnen de sociale wetenschappen); zie b.v. dit recente interview met Rianne de Heide,
https://www.nrc.nl/nieuws(...)de-e-waarde-a4189494Kortom: er zijn behoorlijke problemen aangestipt in de statistische methodiek binnen 'jouw' vakgebied van de psychologie (en andere sociale wetenschappen), waardoor mogelijk een aanzienlijk deel van het wetenschappelijk onderzoek van de afgelopen decennia domweg niet significant is, ondanks de opgegeven p-waarden.
Dat is
exact wat deze meme aangeeft. Nogmaals: ik vind het buitengewoon typisch dat jij deze meme blijkbaar niet kunt duiden ondanks jouw achtergrond in de psychologie (het verbaast me niet, omdat ik vermoed dat veel studenten uit de sociale wetenschappen domweg niet de wiskundige achtergrond hebben om de methodiek te doorgronden en bovendien de nadruk sterk ligt op louter toepassing en bovendien frequentisme; vraag een psychologiestudent bijvoorbeeld maar eens om op papier de t-distributie af te leiden). En wat ik minstens zo opmerkelijk vind: hier zijn gegronde redenen om sterk te twijfelen aan onderzoeksresultaten (in tegenstelling tot b.v. dateringsmethoden; zie bijvoorbeeld weer Meester en Slooten waarom resultaten uit de subatomaire fysica veel robuuster zijn als het om p-waarden gaat), en nu negeer je volledig de grootste hedendaagse crisis in o.a. jouw vakgebied en beweer je dat de statistische methoden "correct" zijn.
Schiet mij maar lek.
Als je daadwerkelijk geïnteresseerd bent in de wiskundige argumenten achter de replicatiecrisis, wat dit betekent voor de sociale wetenschappen, en hoe de zucht naar objectiviteit binnen de methodiek van o.a. Fisher, Pearson en Neyman tot deze crisis hebben geleid, dan raad ik je nogmaals Meester en Slooten aan. Van mij zul je het waarschijnlijk niet aannemen, maar misschien dat wiskundigen je kunnen overtuigen.
Je haalt hier van alles door elkaar.
Ik had het over het zo objectief mogelijk stellen van de diagnose.
Dus de bias van de psycholoog wegnemen door middel van objectieve meetmethoden.
Daarvoor worden onder andere gestandaardiseerde tests gebruikt die ook regelmatig worden geactualiseerd.
Aan de hand van een test kan vervolgens een diagnose worden gesteld, met zo min mogelijk invloed van de persoonlijke vooroordelen van de psycholoog. De psycholoog dient alle diagnostische informatie te verzamelen om tot een diagnose en behandelingsmethode te komen. Natuurlijk komt daar altijd interpretatie bij kijken, maar het doel is om de persoonlijke bias zoveel mogelijk te minimaliseren.
Op basis van dergelijke meetmethoden is ook de DSM vastgesteld: psychische stoornissen en hun kenmerken. Aangezien op basis van onderzoek de meest frequente symptomen met een bepaalde stoornis zijn geassocieerd. Denk aan schizofrenie met auditieve en visuele hallucinaties, achterdocht, grootheidswaanzin, enzovoorts. Die lijst is niet uit de duim gezogen. Daar zijn observaties en metingen aan voorafgegaan en die DSM wordt dus ook steeds bijgesteld naarmate kennis groeit.
Wat men op deze manier probeert te doen is een zeer breed spectrum van menselijk gedrag op te delen in werkbare categorieën om een adequate diagnose te stellen en behandeling voor te stellen.
Als je vroeger bij de psychoanalist kwam, zoals Freud of een Jung, zou die met een diagnose kunnen komen die vooral is gebaseerd op zijn persoonlijke overtuigingen. Dus het risico op bias van de psycholoog was enorm hoog. Sindsdien probeert men dat risico zo klein mogelijk te maken en dat dient de individuele psycholoog in zijn praktijk ook te doen.
Daarom heeft men getracht om een meer objectieve benadering te vinden.
Een psycholoog is in de praktijk niet constant statistische berekeningen aan het uitvoeren natuurlijk. Dus dat veel psychologen statistiek niet enorm goed beheersen, is niet verwonderlijk. Is dat relevant? Niet per se, aangezien je als praktijkpsycholoog meestal niet veel met statistiek bezig zult zijn, behalve als je je sterk richt op onderzoek of onderzoeksresultaten moet interpreteren (en dat zou natuurlijk elke psycholoog moeten doen, maar de meeste mensen doen dit werk om mensen te helpen, het zijn niet per se 'wetenschappers' in de bètazin van het woord).
Dat er nogal wat haken en ogen aan statistisch onderzoek zitten, lijkt me vanzelfsprekend. Daarom is peer review zo belangrijk. Blijkbaar is dat niet voldoende gedaan,dat las ik ook net. Replicatiestudies zijn nu eenmaal minder populair en vooral minder interessant om te financieren.
Dat er flink wat haantjes zijn die zullen proberen om hun hypotheses te bevestigen om hun werk te kunnen laten publiceren om allerlei redenen, is mij ook wel bekend. Enkele professoren waren ook zo, ijdeltuiten. Het verbaast me eerlijk gezegd niet dat juist een professor in Tilburg op fraude werd betrapt.
Dus nee, de methode is niet perfect en alles wat je zegt kan ik beamen. Maar dit ligt niet per se zuiver aan de statistische methoden. Het kan ook aan de kwaliteit van de onderzoek liggen, en ik vermoed dat dat juist het probleem is. Als je onderzoek niet valide is, of niet genoeg factoren meeneemt of iets dergelijks, kom je al gauw in de problemen.
Wat betreft die meme: wat mij betreft is dat een klassiek voorbeeld van een invalide test. Ze meten hoe verslavend een middel is op basis van een test die dat niet aantoont. Je kunt die test wel honderd keer herhalen en steeds hetzelfde resultaat krijgen, maar dan heb je dus inderdaad nog steeds geen betrouwbaar resultaat, omdat je iets heel anders hebt gemeten dan je in je hypothese beoogt of omdat je belangrijke factoren hebt genegeerd. Dit is een van de eerste dingen die je leert: je onderzoek moet valide en betrouwbaar zijn, oftewel meten wat je beoogt te meten en repliceerbaar.
Misschien had muis 1 wel dorst, of een genetische aanleg voor dat spul. Misschien was hij van een ander ras dan de andere muis en had hij daarom een grotere voorkeur. Misschien was de ene een mannetje en de ander een vrouwtje. En zo kun je nog een hele reeks factoren van invloed bedenken die je mee zou moeten nemen in zo'n test. Ik vind dit dus nogal een onzinnig voorbeeld, aangezien je metingen doet met betrekking tot een populatie, en je de resultaten voor die populatie niet zomaar kan generaliseren. Daarom moet je ook zeer voorzichtig zijn in de uitspraken die je op basis van je onderzoek doet. Zo'n test zou relevanter zijn als hij wordt uitgevoerd op een populatie van pak 'm beet 1000 muizen van hetzelfde ras, leeftijd, geslacht, in een gecontroleerde omgeving, en dat een replicatiestudie dezelfde populatie gebruikt. Als je dan steeds dezelfde resultaten vindt, is de kans toch vrij groot dat je test valide en betrouwbaar is. Je kan niet op basis van steeds 1 geval naar een hele populatie generaliseren.
Ik had liever een daadwerkelijk praktijkvoorbeeld gezien in plaats van zo'n meme.
Verder zou ik er aan willen toevoegen dat ik me tijdens mijn studie psychologie tot het geloof heb bekeerd en daarom ook geen psycholoog ben geworden. Ik wilde mensen helpen, inclusief met psychedelica (wel grappig dat daar nu inderdaad ook aandacht voor is, ik was daar 20 jaar geleden mee bezig), maar ik ben tot de conclusie gekomen dat Jezus Christus de werkelijke oplossing is die we nodig hebben. Ik heb daarom ook besloten om niet door te gaan en psycholoog te worden, maar alles op te geven om Jezus Christus te volgen. Het is dus niet mijn vakgebied, maar ik heb er wel een opleiding in afgerond. Ik volg het dus inderdaad niet zo op de voet als wanneer ik daadwerkelijk praktiserend psycholoog was.
[ Bericht 3% gewijzigd door Ali_Kannibali op 27-02-2024 17:55:10 ]