NWS Nieuws & Achtergronden
Discussieer hier diepgaander over de actualiteiten.
Dat er fouten insluipen, is onvermijdelijk. Maar dat 50% van de gepubliceerde onderzoeken niet te reproduceren valt, is toch wel schokkend.quote:270 wetenschappers van over de hele wereld hebben geprobeerd om de resultaten van 100 studies in de psychologie te repliceren. Dat is slechts in minder dan de helft van de gevallen gelukt. Het gaat om studies die gepubliceerd werden in gerenommeerde tijdschriften. Een aantal onderzoekers heeft nu een centrum opgericht om wetenschap meer reproduceerbaar te maken.
De Open Science Collaboration verzamelt onderzoekers in de psychologie die op een nieuwe manier aan onderzoek willen doen in hun discipline. Ze stellen zich vragen naar aanleiding van de publicatie van onmogelijke bevindingen, van niet of moeilijk repliceerbare bevindingen en van enquêtes waaruit blijkt dat er regelmatig twijfelachtige onderzoekspraktijken gebruikt worden. Daarom namen ze nu 100 studies onder de loep.
Professor Wolf Vanpaemel van de Faculteit Psychologie en Pedagogische Wetenschappen van de KU Leuven was betrokken bij het onderzoek: "We kozen willekeurig 100 studies die in 2008 werden gepubliceerd in 3 vooraanstaande psychologische tijdschriften en gingen na of we de gepubliceerde resultaten konden repliceren. Dit wil zeggen dat we dezelfde methodes gebruikten om opnieuw data te verzamelen en te analyseren." In minder dan de helft van de gevallen waren de resultaten dezelfde als deze in het oorspronkelijk gepubliceerde onderzoek.
"Dit kan drie verklaringen hebben", legt professor Vanpaemel uit. "Eerst en vooral zou het kunnen dat er toch kleine, maar blijkbaar belangrijke, verschillen geslopen zijn in hoe het onderzoek werd uitgevoerd. Verder is het mogelijk dat het originele onderzoek een vals positief gaf als resultaat. Onderzoekers proberen deze kans onder controle te houden, maar een vals positief is nooit helemaal uit te sluiten. Tot slot is het mogelijk dat we de resultaten toevallig niet konden herhalen. We moeten dus zeker niet meteen aan onderzoeksfraude denken."
Vanpaemel denkt ook niet dat er door de betwistbare studies fouten in, bijvoorbeeld, therapieën zijn geslopen. Volgens hem waren het meer studies die bepaalde theorieën wilden testen, en die niet meteen gevolgen hebben voor therapieën of het beleid.
Meer reproduceerbaar onderzoek
Een aantal onderzoekers hebben inmiddels het Centre for Open Science opgericht. Ze streven ernaar om wetenschap meer reproduceerbaar te maken, onder andere door onderzoeksmateriaal en data openbaar beschikbaar te stellen, zodat wetenschappers over de hele wereld ermee aan de slag kunnen.
Daartoe werd het gratis platform Open Science Framework opgestart. Dit moet, samen met tal van andere initiatieven, de kwaliteit van het onderzoek in de psychologie aanzienlijk vergroten.
"Er worden momenteel heel wat opwindende hervormingen doorgevoerd om tot beter onderzoek te komen. Deze studie biedt een vergelijkingspunt om de impact van die hervormingen in de toekomst te kunnen nagaan", zegt professor Vanpaemel.
Bron: De Redactie
Ik vind studies over het menselijk gedrag altijd maar een beetje gegoochel. Dit bevestigt dat onderbuikgevoel toch weer een beetje.
Het schokt mij niet. Het is eigenlijk heel logisch, een erkend wetenschappelijk fraudeur en fantast wordt als een van de groten en een grondlegger van het vakgebied beschouwd. Als je dat er meteen bij je studenten inpompt moet je natuurlijk geen wetenschappelijke integriteit meer verwachten als ze zelf gaan doen alsof ze wetenschapper zijn. Sowieso hoef je er geen verstand van te hebben om vast te stellen dat er eigenlijk maar heel weinig harde kennis in die discipline, maar dat ze dat niet verhindert om in het wilde weg wat uit te proberen en harde uitspraken te doen. De praktijk van onderzoeken opsplitsen in deelonderzoeken en alleen de deelonderzoeken met de gewenste uitkomst publiceren is ook al jaren dusdanig gemeengoed dat dat algemeen bekend had kunnen zijn.quote:Op vrijdag 28 augustus 2015 08:52 schreef Ser_Ciappelletto het volgende:
[..]
Dat er fouten insluipen, is onvermijdelijk. Maar dat 50% van de gepubliceerde onderzoeken niet te reproduceren valt, is toch wel schokkend.
Wees gehoorzaam. Alleen samen krijgen we de vrijheid eronder.
Dat is wel een overdreven pessimistisch beeld.quote:
[..]
Het schokt mij niet. Het is eigenlijk heel logisch, een erkend wetenschappelijk fraudeur en fantast wordt als een van de groten en een grondlegger van het vakgebied beschouwd. Als je dat er meteen bij je studenten inpompt moet je natuurlijk geen wetenschappelijke integriteit meer verwachten als ze zelf gaan doen alsof ze wetenschapper zijn. Sowieso hoef je er geen verstand van te hebben om vast te stellen dat er eigenlijk maar heel weinig harde kennis in die discipline, maar dat ze dat niet verhindert om in het wilde weg wat uit te proberen en harde uitspraken te doen. De praktijk van onderzoeken opsplitsen in deelonderzoeken en alleen de deelonderzoeken met de gewenste uitkomst publiceren is ook al jaren dusdanig gemeengoed dat dat algemeen bekend had kunnen zijn.
Dat ze iemand als grondlegger en een van de groten beschouwen, betekent niet dat ze alles goedkeuren wat die persoon gedaan heeft, laat staan dat ze dat gedrag aanmoedigen. De grondleggers van bijna alle disciplines waren tot op zekere hoogte fantasten met onwetenschappelijke methoden.
Onderzoek opbreken in deelonderzoeken en de succesvolle deelonderzoeken publiceren leidt niet automatisch tot niet-reproduceerbare studies. Bovendien is het opnieuw iets dat in vrijwel alle disciplines gebeurt.
Dat is gewoon onzin.quote:Sowieso hoef je er geen verstand van te hebben om vast te stellen dat er eigenlijk maar heel weinig harde kennis in die discipline, maar dat ze dat niet verhindert om in het wilde weg wat uit te proberen en harde uitspraken te doen.
Het is ook gewoon heel lastig om dubbel-blind random te sampelen in dat soort onderzoek, dus zo verbazingwekkend vind ik het niet.
Croce e delizia cor. Misterioso, Misterioso altero, croce e delizia al cor.
Verbaast me niets. Controle bij het verlenen van onderzoeksvoorstellen en het beoordelen van manuscripten is ondermaats. Marketing en politiek hebben een veel te grote invloed bij het publiceren van publicaties en het verlenen van onderzoeksgeld.
Dit is overigens niet alleen zo binnen de psychologie, het geldt waarschijnlijk voor meerdere disciplines.
In mijn eigen vakgebied presteert grofweg de helft van alle onderzoekers ondermaats. Onderling lachen we daar over, maar er wordt niets aan gedaan. Ik kan me voorstellen dat het in een minder professioneel vakgebied waar nog meer geld in omgaat, denk aan de klimaatwetenschappen, nog veel erger is.
Dit is overigens niet alleen zo binnen de psychologie, het geldt waarschijnlijk voor meerdere disciplines.
In mijn eigen vakgebied presteert grofweg de helft van alle onderzoekers ondermaats. Onderling lachen we daar over, maar er wordt niets aan gedaan. Ik kan me voorstellen dat het in een minder professioneel vakgebied waar nog meer geld in omgaat, denk aan de klimaatwetenschappen, nog veel erger is.
Good intentions and tender feelings may do credit to those who possess them, but they often lead to ineffective — or positively destructive — policies ... Kevin D. Williamson
Je kan dus eigenlijk nog 50% bezuinigen op de psychologie en dat bedrag dus wellicht inverteren in de opleiding van neurologen? Die zich echt bezighouden met wat er mogelijk mis gaat in het menselijk brein.
Wordt als iemand die voortdurend dood is. De ware volgeling van bushidõ sterft elke ochtend en avond opnieuw. En wordt niet gehinderd door angst voor de dood. Yamamoto Tsunetomo's hagakure.
Of neurologen echte vooruitgang hebben geboekt in 30 jaren valt te betwijfelen.quote:
Je kan dus eigenlijk nog 50% bezuinigen op de psychologie en dat bedrag dus wellicht inverteren in de opleiding van neurologen? Die zich echt bezighouden met wat er mogelijk mis gaat in het menselijk brein.
Croce e delizia cor. Misterioso, Misterioso altero, croce e delizia al cor.
Wel goed dat ze het controleren en gaan aanpakken.
In elk geval meer dan de nalatenschap van een coke verslaafde zuster neuker.quote:
[..]
Of neurologen echte vooruitgang hebben geboekt in 30 jaren valt te betwijfelen.
Wordt als iemand die voortdurend dood is. De ware volgeling van bushidõ sterft elke ochtend en avond opnieuw. En wordt niet gehinderd door angst voor de dood. Yamamoto Tsunetomo's hagakure.
Neurologen werken ook regelmatig samen met psychologen. De chemische en biologische processen zijn een belangrijk deel van het verhaal, maar niet het totale plaatje.quote:
Je kan dus eigenlijk nog 50% bezuinigen op de psychologie en dat bedrag dus wellicht inverteren in de opleiding van neurologen? Die zich echt bezighouden met wat er mogelijk mis gaat in het menselijk brein.
Nou, psychologie heeft wel behandelingen voor een aantal geestesziektes gevonden, dus je moet ze wel de eer toekennen dat ze verdienen.quote:
[..]
In elk geval meer dan de nalatenschap van een coke verslaafde zuster neuker.
Croce e delizia cor. Misterioso, Misterioso altero, croce e delizia al cor.
Ik kijk ook met lede ogen naar de psychologie en vooral stumpers die deze studie (gaan) volgen. Maar kennis over menselijk gedrag is er wel degelijk. Dagelijks worden hele volkeren bij de neus genomen en gestuurd via overheid en media. Dit moet dus wel logische raakvlakken hebben. Dit moet wel wetenschappelijk te gronden zijn.
Niet alleen in de Psychologie, ook op gebied van het internet vind dit plaats, veel websites gebruiken zogenaamde a/b tests waarbij de ene groep bijvoorbeeld een button in het groen krijgt, en de andere groep een rode. Ik heb laatst een simulator gemaakt, als je dit met 500 tests zou doen, dan krijg je verschillen van rond de 7 procent. Kortom je bereikt niets met kleine onderzoeksaantallen.
🕰️₿🕰️₿🕰️₿🕰️₿🕰️₿🕰️ TikTok next Block
Pls. Er is toch vrijwel niemand die de psychoanalyse meer serieus neemt. Net zoals men nu smakelijk kan lachen om de theorie van Lamarck, maar wat wel een belangrijke stap was in het evolutie-denken.quote:
[..]
In elk geval meer dan de nalatenschap van een coke verslaafde zuster neuker.
Dat valt te bezien. Hoe vaak wordt er achteraf niet een andere oorzaak gevonden voor ziektes die eerst als psychologisch werden gezien. Denk alleen even aan maagzweren en aids bijvoorbeeld. Op het moment wordt er werk gedaan dat alle psychologische theorieën over M.E./CVS onderuit lijkt te halen in Noorwegen en de VS. En zo zullen er ongetwijfeld een hoop meer ziektes zijn waarvan niet meteen een oorzaak bekend is, die dan maar op het psychologische gestoken worden. Dan krijg je allerlei wilde claims over hoe die ziektes te fixen met CGT e.d. die later helemaal onderuit geschopt worden of gewoonweg niet te repliceren zijn.quote:
[..]
Nou, psychologie heeft wel behandelingen voor een aantal geestesziektes gevonden, dus je moet ze wel de eer toekennen dat ze verdienen.
Iedereen die populair wetenschapelijke stukjes onder ogen krijgt, van FOK! tot nu.nl wist dit natuurlijk al, de onzinnige dingen die daar naar boven komen..
Waarom zijn klimaatwetenschappers minder professioneel?quote:
Verbaast me niets. Controle bij het verlenen van onderzoeksvoorstellen en het beoordelen van manuscripten is ondermaats. Marketing en politiek hebben een veel te grote invloed bij het publiceren van publicaties en het verlenen van onderzoeksgeld.
Dit is overigens niet alleen zo binnen de psychologie, het geldt waarschijnlijk voor meerdere disciplines.
In mijn eigen vakgebied presteert grofweg de helft van alle onderzoekers ondermaats. Onderling lachen we daar over, maar er wordt niets aan gedaan. Ik kan me voorstellen dat het in een minder professioneel vakgebied waar nog meer geld in omgaat, denk aan de klimaatwetenschappen, nog veel erger is.
Niet alleen dat. Psychologie is overal. Alleen al invloeden vanuit de media waar jij en ik constant aan worden blootgesteld. Van reclame, tot aan de indeling van een supermarkt, tot aan de prijzen van 19,99 in plaats van 20,00. En wat denk je van managers en communicatievormen. Bij psychologie denken mensen aan psychische ziektes, maar dat is slechts een klein deel. Dingen als veiligheid, hoe mensen reageren op rampen en dergelijke scenario's uitdenken, het doen van onderzoek naar het beïnvloeden van vandalisme en crimineel gedrag... overal zijn psychologen bij betrokken.quote:
[..]
Nou, psychologie heeft wel behandelingen voor een aantal geestesziektes gevonden, dus je moet ze wel de eer toekennen dat ze verdienen.
Als je kijkt naar hoeveel mensen er kampen met psychische problemen lijkt psychologisch onderzoek me verre van overbodig. Het moet alleen wel goed gebeuren. Net als binnen andere wetenschappen is er veel publicatiedruk en druk om verbanden te vinden. Ik vraag me ook altijd af hoe het kan dat zoveel onderzoeken tegenstrijdige resultaten vinden, bijvoorbeeld op het gebied van voeding en gezondheid. Dat kan bijna niet kloppen. Te veel belangen van organisaties die het onderzoek financieren.
Dat staat verder los van de reproduceerbaarheid, maar ik moet zeggen dat er tijdens mijn studie psychologie wel flink op gehamerd wordt dat alles reproduceerbaar moet zijn. Misschien dat het na de studie dan ergens fout gaat en men daar niet meer zoveel waarde aan hecht. Dat moet dan bijna wel.
Dat soort dingen moeten in de diagnose ook als eerst uitgesloten worden, maar een dokter in het ziekenhuis kan dat ook fout doen.quote:
[..]
Dat valt te bezien. Hoe vaak wordt er achteraf niet een andere oorzaak gevonden voor ziektes die eerst als psychologisch werden gezien. Denk alleen even aan maagzweren en aids bijvoorbeeld.
Ja, dat heet wetenschappelijk vooruitgang. M.E./CVS is ook vrij nieuw, dus het kan nog vele kanten op.quote:Op het moment wordt er werk gedaan dat alle psychologische theorieën over M.E./CVS onderuit lijkt te halen in Noorwegen en de VS. En zo zullen er ongetwijfeld een hoop meer ziektes zijn waarvan niet meteen een oorzaak bekend is, die dan maar op het psychologische gestoken worden. Dan krijg je allerlei wilde claims over hoe die ziektes te fixen met CGT e.d. die later helemaal onderuit geschopt worden of gewoonweg niet te repliceren zijn.
Croce e delizia cor. Misterioso, Misterioso altero, croce e delizia al cor.
Het is dan ook de taak van de huisarts om lichamelijke oorzaken allereerst te onderzoeken en uit te sluiten. Als het daar fout gaat kan je dat moeilijk bij de psychologie leggen.quote:
[..]
Dat valt te bezien. Hoe vaak wordt er achteraf niet een andere oorzaak gevonden voor ziektes die eerst als psychologisch werden gezien. Denk alleen even aan maagzweren en aids bijvoorbeeld. Op het moment wordt er werk gedaan dat alle psychologische theorieën over M.E./CVS onderuit lijkt te halen in Noorwegen en de VS. En zo zullen er ongetwijfeld een hoop meer ziektes zijn waarvan niet meteen een oorzaak bekend is, die dan maar op het psychologische gestoken worden. Dan krijg je allerlei wilde claims over hoe die ziektes te fixen met CGT e.d. die later helemaal onderuit geschopt worden of gewoonweg niet te repliceren zijn.
Sociologie en psychologie heeft ook een cultuurtje wat soms een beetje pist op de wetenschappelijke methode.
Het is niet voor niets dat het feminisme en andere radicale (a)sociale bewegingen zich op scholen mogen presenteren als serieuze zogenaamd bewezen standpunten. Algemeen geaccepteerde concepten zoals 'rape culture' en 'male gaze theory' zijn van goede voorbeelden van een academische discussie die is losgeslagen van de realiteit.
Het is niet voor niets dat het feminisme en andere radicale (a)sociale bewegingen zich op scholen mogen presenteren als serieuze zogenaamd bewezen standpunten. Algemeen geaccepteerde concepten zoals 'rape culture' en 'male gaze theory' zijn van goede voorbeelden van een academische discussie die is losgeslagen van de realiteit.
Health In Harmony is een non-profitorganisatie die regenwoudgemeenschappen helpt met gezondheidszorg en duurzame inkomens in ruil voor bosbescherming, en zo tegelijk klimaatverandering en armoede aanpakt. - https://www.healthinharmony.org/
Dit betekent niet dat 50% van wat psychologen doen, onzin is hé. Het betekent dat als je de gepubliceerde onderzoeken herhaalt, je slechts in 50% van de gevallen hetzelfde resultaat krijgt.quote:
Je kan dus eigenlijk nog 50% bezuinigen op de psychologie en dat bedrag dus wellicht inverteren in de opleiding van neurologen? Die zich echt bezighouden met wat er mogelijk mis gaat in het menselijk brein.
Probleem is vooral dat hoofdzakelijk positieve onderzoeken gepubliceerd worden. Stel, je doet 1000 onderzoeken, allemaal met p=0,05 als grens (de kans op vals-positief is dan 5%). Dan zitten er 50 onderzoeken tussen die positief uitvallen, terwijl ze dat niet zijn. Als van de onderzoeken 5% wel terecht positief is, en alle positieve onderzoeken (en alleen positieve onderzoeken) worden gepubliceerd, dan is de helft van de gepubliceerde onderzoeken niet te reproduceren. Dat betekent ook dat er 850 onderzoeken zijn die terecht niet-positief zijn. Het aantal 'degelijke' onderzoeken is dan veel groter.
quote:
[..]
Dit betekent niet dat 50% van wat psychologen doen, onzin is hé. Het betekent dat als je de gepubliceerde onderzoeken herhaalt, je slechts in 50% van de gevallen hetzelfde resultaat krijgt.
Probleem is vooral dat hoofdzakelijk positieve onderzoeken gepubliceerd worden. Stel, je doet 1000 onderzoeken, allemaal met p=0,05 als grens (de kans op vals-positief is dan 5%). Dan zitten er 50 onderzoeken tussen die positief uitvallen, terwijl ze dat niet zijn. Als van de onderzoeken 5% wel terecht positief is, en alle positieve onderzoeken (en alleen positieve onderzoeken) worden gepubliceerd, dan is de helft van de gepubliceerde onderzoeken niet te reproduceren. Dat betekent ook dat er 850 onderzoeken zijn die terecht niet-positief zijn. Het aantal 'degelijke' onderzoeken is dan veel groter.
|
|
