'Veel psychologische studies niet reproduceerbaar'

quote:

Op dinsdag 1 september 2015 12:42 schreef Ryon het volgende:

[..]

Niet echt. De working poor vormt een belangrijk deel van mijn onderzoekspopulatie. Geef ze een onkostenvergoeding en ze komen met busjes tegelijkertijd (volledig representatief en wel) opdraven. Of een persoon mee doet aan een onderzoekje voor de lol, voor de wetenschap of voor een paar tientjes doet er verder niet veel toe.

Dergelijke problematiek zou trouwens geen excuus mogen zijn voor slecht onderzoek. Tal van bureaus zijn gespecialiseerd in het aanleveren van representatieve doelgroepen. Dat is een vak apart en daar mag je best gebruik van maken.

Ik heb wel eens met de not working poor gewerkt. Onze proefpersonen werden geselecteerd in een kliniek, en soms zat er iemand tussen die gaan baan had. Vaak vergaten ze dan hun afspraak voor een meting bij ons, en dat was eigenlijk maar goed ook, want het waren vaak vevelende mensen, die het alleen maar voor het geld deden.

Jaren later leerde ik dat het beter is om mensen juist niet te betalen, omdat je daarmee proefpersonen werft die het voor het onderzoek doen, en die het belang er van in zien om goed mee te werken.

Het was dan wel wat lastiger om minderheden te werven, alhoewel ik de lol er wel van in kon zien als we weer dolblij waren als een blanke plotseling Hispanic bleek te zijn. Niet dat het voor mijn onderzoek zo veel uitmaakt wat voor een kleur iemand heeft; als ik tien man/vrouw weet te vangen, vind ik het vaak wel weer mooi geweest. Show and tell, weet je wel. Nee, serieus, onze metingen waren er vaak niet op gericht om de verschillen tussen proefpersonen in kaart te brengen, maar om te laten zien dat een apparaat werkt.

quote:

Op zondag 30 augustus 2015 16:37 schreef Operc het volgende:

[..]

1 en 2 vallen samen en komen vooral door de grote verschillen tussen culturen en mensen. Het heeft bij de psychologie geen zin om naar 5-6 sigma te gaan omdat individuele verschillen dat onmogelijk maken. Je lijkt te impliceren dat effecten op basis van twee sigma er niet toe doen, maar niets is minder waar. Alle medicijnen die worden getest gebruiken ook deze criteria en er zijn nog een groot aantal disciplines die met deze onzekerheidsfactor werken. Dat betekent inderdaad dat een grotere foutmarge wordt geaccepteerd, maar dat wil niet zeggen dat het onderzoek daardoor niet deugt of per definitie niet wetenschappelijk is.

Dat klopt natuurlijk, maar die grens van 0,05 kan wel problematisch worden als je het combineert met de druk om te scoren. Voor mijn gevoel (als leek die zo af en toe wat wetenschap leest) is die jacht op significante resultaten wel een probleem binnen de sociale wetenschappen.

quote:

Op dinsdag 1 september 2015 14:27 schreef Ryon het volgende:

[..]

True. Ik had "de voornaamste" reden moeten gebruiken i.p.v enige. Er zullen ongetwijfeld meerdere redenen te verzinnen zijn. Een beetje handige onderzoeker combineert het nuttige met het aangename en weet ook een meer "rendabel" onderzoek nog een flinke wetenschappelijke insteek te geven.

De hoofdreden is natuurlijk dat wetenschap helemaal niet hoeft te renderen. Dat wetenschap ook van economische waarde kan zijn, betekent niet dat dit het doel van wetenschappelijk onderzoek is.

Je kunt het ook vergelijken met voetbal, dat geen enkele economische waarde voortbrengt. Dat voetbal zich beter kan bedruipen dan wetenschap, komt alleen omdat de meeste mensen meer belangstelling hebben voor sport dan voor wetenschap.

De belangrijkste rol van wetenschap is het formuleren van een goed onderbouwd wereldbeeld. De meeste mensen nemen aan dat het alledaagse leven hen voldoende inzicht geeft. Ze erkennen daarmee wel een behoefte aan inzicht, maar beseffen onvoldoende hoe beperkt dat inzicht nog is

Het vergroten van ons inzicht is een heel ander soort spel dan de economische bedrijvigheid, met andere motieven en spelregels. Je moet daarvoor buiten het kader van het alledaagse leven kunnen treden, en buiten het profijtbeginsel (want de afstand tot het economische is groot en niet het doel). Het is mogelijk dat je een probleem hebt opgelost, zonder veel inzicht (bv een medicijn dat werkt, zonder dat je begrijpt hoe). Economisch gezien ben je dan klaar, maar wetenschappelijk gezien ben je niet eens begonnen.

De belangrijkste doel van de wetenschap is de samenhang der dingen ontrafelen, het overzicht vergroten, om zo te komen tot een betere voorstelling van de wereld. De motieven van wetenschappers zijn gewoon menselijk. Zoals een handelsman streeft naar rijkdom, zo zal een wetenschapper eerzuchtig kunnen zijn. De motieven zullen divers zijn, maar als je wetenschap plaatst binnen een economisch kader, doe je het tekort.

Ook de werkmethode is anders. Werken met prijsprikkels past niet bij het spel van de wetenschap. Daarvoor ontbreekt het teveel aan controle (want je werkt op onbekend terrein). Die controle is onmogelijk en dat leidt ertoe dat mensen standaard dingetjes gaan onderzoeken op een standaard manier. Ze maken er een productieproces van. Alleen op bekend terrein kun je plannen, standariseren, resultaat gericht werken en stimuleren met prijsprikkels. Maar dan is het al een industrie. Op onbekend terrein moet je andere kwaliteiten hebben: interesse, opmerkzaamheid, speelsheid, ...

Wat jonge wetenschappers te weinig leren, is spelen en proberen (zonder dat het tot iets hoeft te leiden, niet omdat resultaat onbelangrijk is, maar omdat je daarmee al teveel vrijheid ontneemt). Er is geen betere manier om een onderzoeksterrein te leren kennen en eigen ideeen te ontwikkelen, als dingen iets net iets anders te doen dan standaard als je daar aanleiding toe ziet. Sta er bij stil als je niet overtuigd bent, en waarom niet. Maar dat tobben & prutsen kost zeeen van tijd. Resultaatgerichte mensen kunnen dat niet (die willen resultaat zien), alleen mensen met veel interesse in de materie kunnen dat.

Veel onderzoek is al een vorm van industrie. Het bindt onderzoekers aan een heel nauw afgebakend onderzoeksterrein en standaard praktijken. Te doods voor een goede onderzoekscultuur.

De slimme wetenschapper, die met onderzoek in opdracht geld binnenhaalt en dit besteed aan het onderzoek waar zijn eigen belangstelling naar uitgaat, is een illusie. De geesteshouding die past bij onderzoek doen, botst teveel met de geesteshouding die past bij slim managen, om beide te kunnen combineren.

[ Bericht 0% gewijzigd door deelnemer op 01-09-2015 16:34:09 ]

quote:

Op dinsdag 1 september 2015 16:22 schreef deelnemer het volgende:

[..]

De hoofdreden is natuurlijk dat wetenschap helemaal niet hoeft te renderen. Dat wetenschap ook van economische waarde kan zijn, betekent niet dat dit het doel van wetenschappelijk onderzoek is.

Je kunt het ook vergelijken met voetbal, dat geen enkele economische waarde voortbrengt. Dat voetbal zich beter kan bedruipen dan wetenschap, komt alleen omdat de meeste mensen meer belangstelling hebben voor sport dan voor wetenschap.

De belangrijkste rol van wetenschap is het formuleren van een goed onderbouwd wereldbeeld. De meeste mensen nemen aan dat het alledaagse leven hen voldoende inzicht geeft. Ze erkennen daarmee wel een behoefte aan inzicht, maar beseffen onvoldoende hoe beperkt dat inzicht nog is

Het vergroten van ons inzicht is een heel ander soort spel dan de economische bedrijvigheid, met andere motieven en spelregels. Je moet daarvoor buiten het kader van het alledaagse leven kunnen treden, en buiten het profijtbeginsel (want de afstand tot het economische is groot en niet het doel). Het is mogelijk dat je een probleem hebt opgelost, zonder veel inzicht (bv een medicijn dat werkt, zonder dat je begrijpt hoe). Economisch gezien ben je dan klaar, maar wetenschappelijk gezien ben je niet eens begonnen.

De belangrijkste doel van de wetenschap is de samenhang der dingen ontrafelen, het overzicht vergroten, om zo te komen tot een betere voorstelling van de wereld. De motieven van wetenschappers zijn gewoon menselijk. Zoals een handelsman streeft naar rijkdom, zo zal een wetenschapper eerzuchtig kunnen zijn. De motieven zullen divers zijn, maar als je wetenschap plaatst binnen een economisch kader, doe je het tekort.

Ook de werkmethode is anders. Werken met prijsprikkels past niet bij het spel van de wetenschap. Daarvoor ontbreekt het teveel aan controle (want je werkt op onbekend terrein). Die controle is onmogelijk en dat leidt ertoe dat mensen standaard dingetjes gaan onderzoeken op een standaard manier. Ze maken er een productieproces van. Alleen op bekend terrein kun je plannen, standariseren, resultaat gericht werken en stimuleren met prijsprikkels. Maar dan is het al een industrie. Op onbekend terrein moet je andere kwaliteiten hebben: interesse, opmerkzaamheid, speelsheid, ...

Wat jonge wetenschappers te weinig leren, is spelen en proberen (zonder dat het tot iets hoeft te leiden, niet omdat resultaat onbelangrijk is, maar omdat je daarmee al teveel vrijheid ontneemt). Er is geen betere manier om een onderzoeksterrein te leren kennen en eigen ideeen te ontwikkelen, als dingen iets net iets anders te doen dan standaard als je daar aanleiding toe ziet. Sta er bij stil als je niet overtuigd bent, en waarom niet. Maar dat tobben & prutsen kost zeeen van tijd. Resultaatgerichte mensen kunnen dat niet (die willen resultaat zien), alleen mensen met veel interesse in de materie kunnen dat.

Veel onderzoek is al een vorm van industrie. Het bindt onderzoekers aan een heel nauw afgebakend onderzoeksterrein en standaard praktijken. Te doods voor een goede onderzoekscultuur.

De slimme wetenschapper, die met onderzoek in opdracht geld binnenhaalt en dit besteed aan het onderzoek waar zijn eigen belangstelling naar uitgaat, is een illusie. De geesteshouding die past bij onderzoek doen, botst teveel met de geesteshouding die past bij slim managen, om beide te kunnen combineren.

Je hebt er wel kijk op, maar je verteert het als Noam Chomsky.

Nee, jonge wetenschappers leren wel degelijk om te spelen en te proberen, maar je wordt geen goede wetenschapper door te spelen en te proberen. Je wordt een goede wetenschapper door heel minitieus een enorme hoeveelheid kennis en ervaring te stapelen, zodat je net iets meer kennis en ervaring hebt dan de concurrentie in je vakgebied, en je boven de ruis van kennis uit kunt stijgen, om vanuit je toren van kennis te zien waar de pot met goud staat: je hebt dan zo veel kennis dat je wel kunt zien waar de volgende grote doorbraak ligt.

De vraag zou dan moeten zijn hoe we die wetenschappers die wel kunnen stapelen zo goed mogelijk kunnen ondersteunen, terwijl we de wetenschappers die parasiteren op het systeem uit het systeem verwijderen.

Goede kennisstapelaars met een diploma van een goede universiteit en een postdoc bij een goede professor hoeven zich geen zorgen te maken: het systeem is zo ontwikkeld dat zij zonder al te veel problemen hun onderzoeksvoorstellen gehonoreerd zien worden, en op de juiste plaatsen terecht komen. Hele slechte kennisstapelaars gaan de industrie in, en dan blijft er een categorie over die een minder goed CV heeft, en helaas is het zo dat het systeem in het voordeel werkt van de parasieten, en in het nadeel van onderzoekers die wel het talent hebben, maar niet het CV.

Sterker nog, het systeem is er op gericht om te parasiteren. De Stapels van deze wereld, maar ook gewoonweg mindere goden die hebben ontdekt hoe je een luilekkerleventje in de wetenschap kunt hebben, zonder je al te veel in te spannen. Iedereen kent ze wel, de window dressers die belabberd onderzoek doen, die op iedere conferentie te zien zijn, die in allerlei committees zitten of editor zijn bij verschillende journals, die veel grants binnen halen, zonder een echte aansprekende wetenschappelijke publicatie. De grootste window dresser in mijn vakgebied is meer een politicus dan een onderzoeker, en heeft al zijn voormalige postdocs op strategische plaatsen gedropt, zodat hij ieder jaar weer een enorme prijs pakt, of zijn publicaties in goede journals krijgt.

Hoe dat dan te veranderen? Ik zie wel wat in career grants, die Nederland al heeft trouwens, maar Japan bijvoorbeeld niet. Een career grant als een soort van bijstandsuitkering, om je net in leven te houden. En dat je er de rest dan zelf bijsprokkelt, zonder dat er ook maar een cent overheidsgeld bij komt kijken. Want daar zit 'm de kneep: de verdeling van dat overheidsgeld, wat een idioot circus is, waarbij jouw directe concurrentie gaat bepalen of jij wel of niet in aanmerking komt voor dat geld. Nee, laat onderzoekers maar op zoek gaan naar crowd funding, of aankloppen bij een bedrijf.

quote:

Op dinsdag 1 september 2015 09:07 schreef Lyrebird het volgende:
Over dat ingenieurs-eigen zijn.. nu ik er over nadenk heb ik al van meerdere onderzoekers van Nederlandse universiteiten gehoord hoe er over het wetenschappelijke niveau van de Technische Universiteiten wordt gedacht. Dat is niet best. Het rare is dat je daar in het buitenland nooit iets van hoort. Delft (met name Delft), Eindhoven en Twente staan in de buitenlandse wandelgangen hoog aangeschreven.

Je kunt je natuurlijk afvragen of dat echt zo is, Delft (en een beetje Eindhoven) heeft wel net het Marjorana deeltje gevonden. Maar ik kan dat neerkijken wellicht wel duiden (niet dat ik het ermee eens ben uiteraard) als een combinatie van factoren. Ik heb in Eindhoven nog wel eens het gevoel dat de hogeschool geest rondwaart, een restant van de TH tijd. In het buitenland kennen ze het verschil niet tussen hogescholen en universiteiten, dus die gevoeligheid zal er niet zijn. De TUs zijn behoorlijk commercieel ingesteld, zeker Eindhoven gaat er prat op alles samen te doen met het bedrijfsleven. Het is voortdurend handjeklap. Toen ik nog in Utrecht werkte, was 'bedrijfsleven' daar echt een heel vies woord. Dat zijn ongeschoolden die je data corrumperen. Dus meer met het bedrijfsleven werken is zeker niet iets om trots op te zijn. Daarnaast is er natuurlijk altijd een beetje een faculteitenstrijd, waarbij theoretici neerkijken op de toegepasten. En als laatste hebben TUs vooral nieuwe vakgebieden, inherent aan de drang naar innovatie. Ten eerste hebben klassieke studies veel langer de tijd gehad een goede wetenschappelijke methodiek en ethiek te creeren. Ten tweede zijn ze vaak ook veel groter met duidelijkere verwachtingspatronen in de studie en baanperspectieven. Je kunt veel zeggen over de wetenschappelijkheid van brede studies als bedrijfskunde en sociologie op de algemene universiteiten, maar je wordt alleen promovendus als je in de honors klassen hebt gezeten, een research master met tien methodologievakken gedaan hebt en cum laude bent afgestudeerd. Ik deed dan wel beta maar was een kut zesjesstudent. Ik geloof niet dat ik ergens echt mijn best voor heb gedaan en heb alle makkelijke vakken gekozen. Alleen, ik vond de vraag belangrijker dan het antwoord, en dat maakte me al meer geschikt om promovendus te worden dan mijn hele afstudeerjaar.

[ Bericht 2% gewijzigd door speknek op 02-09-2015 09:44:22 ]

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Maar ik kan dat neerkijken wellicht wel duiden (niet dat ik het ermee eens ben uiteraard) als een combinatie van factoren. Ik heb in Eindhoven nog wel eens het gevoel dat de hogeschool geest rondwaart, een restant van de TH tijd. In het buitenland kennen ze het verschil niet tussen hogescholen en universiteiten, dus die gevoeligheid zal er niet zijn.

Nu ik er over nadenk heb ik in de VS wel een soortgelijke broedertwist ondervonden. Daar heb je heel erg goede TUs (polytechnics), zoals Rensellaer en Rose Hulman. De ingenieurs die zo'n opleiding hebben gehad, zijn vanaf dag 1 veteranen: die lopen zo mee in je organisatie. Ze kunnen programmeren, ze kunnen ontwerpen en ze kunnen een complex project draaien. Ik ken vier jongens die zo'n opleiding hebben gedaan en het zijn allemaal toppers.

Wij hadden een net afgestudeerde ingenieur van Rose Hulman en de PI van onze groep had geen goede woorden voor hem over. Viel over kleine dingetjes die hier en daar vergeten waren, terwijl hij zelf niets praktisch kon. Niet programmeren, niet ontwerpen, niet bouwen, niets. Zelfs met data-analyse had hij problemen, omdat hij niet bekend was met statistiek. Hij wist wel alles van het vakgebied, echt een kei, en kon een probleem tot op de bodem uitdiepen.

Bij TU werk ben je vaak bezig met het ontwerpen en bouwen van iets, zodat er eigenlijk maar een kleine onderzoekscomponent is: werkt het? Als het niet werkt, moet je nog harder werken om het wel werkend te krijgen, en als het wel werkt, dan heb je echt geen PhD nodig om te kwantificeren hoe goed het werkt.

Misschien dat mensen die gewend zijn om heel erg veel data te verzamelen en te analyseren zich dat niet zo realiseren, en daarom afgeven op TU-gerelateerd werk.

quote:

Op vrijdag 28 augustus 2015 08:52 schreef Ser_Ciappelletto het volgende:

[..]

Dat er fouten insluipen, is onvermijdelijk. Maar dat 50% van de gepubliceerde onderzoeken niet te reproduceren valt, is toch wel schokkend.

Wat ik vooral schokkender vind, is dat dit jarenlang gewoon door kan blijven gaan.
Denk zelf dat dit grootdeels komt door hoe de mens zelf is (de meeste mensen die ik ken, zijn gewoonweg niet zo rationeel als ze zelf willen doen geloven...wetenschap is nou eenmaal iets waar veel rationaliteit bij komt kijken).

Lees de rest van dit topic later nog wel door

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Dus meer met het bedrijfsleven werken is zeker niet iets om trots op te zijn. Daarnaast is er natuurlijk altijd een beetje een faculteitenstrijd, waarbij theoretici neerkijken op de toegepasten.

Al sinds het begin van mijn studie werkte ik voor zowel universiteiten als commerciële onderzoekbureaus. Daar was altijd een uitgesproken spanning tussen die ik nu - op dit moment zelfs - nog steeds voel. Wetenschappers met een academische aanstelling kijken - praktisch zonder uitzondering - een beetje neer op alles wat commercieel bezig is. Consultants etc. zouden ongefundeerd broddelwerk afleveren en geen zuiver onderzoek doen. Vanuit de commerciele sector wordt er weer neergekeken op de wetenschap, al is het maar omdat een wetenschappelijk onderzoeker nog niet eens de helft krijgt van wat je in de praktijk kan verdienen. Als je een Phd hebt hoef je ook zeker niet aan te kloppen, dan mag je lekker wetenschap gaan bedrijven.

Naar mijn mening zit het er een beetje tussen in. Het bedrijf waar ik nu zit heeft recentelijk een offerte gewonnen van TU Delft door gewoon hetzelfde onderzoek voor de helft van de prijs te doen in de helft van de tijd. Ja, daar maak je vrienden mee en verdien je ook centen mee. Ik snap ook wel dat je als wetenschappelijk medewerker dan gewoon goed pissed off bent. In hun ogen wordt er ingeboet aan "wetenschappelijke waarde" als je praktijkgericht onderzoek doet, maar in 9 van de 10 gevallen zit een opdrachtgever helemaal niet te wachten op wetenschappelijk onderzoek maar wil die gewoon kennis hebben waar hij/zij wat mee kan.

Ik ben geen fan van de oppervlakkige houding die veel commerciële toko's hanteren ("alleen ja zeggen als er goed geld mee verdiend kan worden"), maar ik erger mij nog veel meer aan het gebrek aan ondernemerschap bij wetenschappers. Die schieten zichzelf echt in hun voet door alleen waarde toe te kennen aan onderzoek en publicaties die binnen hun vakgebied (vaak een vierkante centimeter) enige prestige opleveren. Dat is leuk, maar in "de echte wereld" moet er ook gewoon geld verdiend worden om de financiering te kunnen regelen voor wat voor een prestigeprojecten dan ook.

Als men het niet te druk had om elkaars onderzoek belachelijk te maken had men ook echt wat van elkaar kunnen opsteken. Maar goed, ieder zijn meug.

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Je kunt veel zeggen over de wetenschappelijkheid van brede studies als bedrijfskunde en sociologie op de algemene universiteiten, maar je wordt alleen promovendus als je in de honors klassen hebt gezeten, een research master met tien methodologievakken gedaan hebt en cum laude bent afgestudeerd.

De vijver om uit te vissen is dan ook vrij groot. Bij sociologie (relatief kleine studie trouwens) gaat minder dan 5% promoveren. Als dat je droom is moet je consequent bij de beste studenten zitten. Je komt dan ook al vrij snel in een "aparte track" te zitten buiten de andere gamma studenten die opgeleid worden voor commerciële en maatschappelijke functies. Dat levert wel een ziek gedreven sfeer op, mensen kiezen dan heel bewust voor de wetenschap. Of juist heel bewust niet.

quote:

Op woensdag 2 september 2015 13:00 schreef Ryon het volgende:
Naar mijn mening zit het er een beetje tussen in. Het bedrijf waar ik nu zit heeft recentelijk een offerte gewonnen van TU Delft door gewoon hetzelfde onderzoek voor de helft van de prijs te doen in de helft van de tijd. Ja, daar maak je vrienden mee en verdien je ook centen mee. Ik snap ook wel dat je als wetenschappelijk medewerker dan gewoon goed pissed off bent. In hun ogen wordt er ingeboet aan "wetenschappelijke waarde" als je praktijkgericht onderzoek doet, maar in 9 van de 10 gevallen zit een opdrachtgever helemaal niet te wachten op wetenschappelijk onderzoek maar wil die gewoon kennis hebben waar hij/zij wat mee kan.

Dat klinkt meer als gewoon meten.

quote:

Op woensdag 2 september 2015 12:41 schreef Ser_Ciappelletto het volgende:

[..]

Je zou hier in Vlaanderen eens moeten komen zien. Op examens wordt er bijna alleen reproductie gevraagd, vrijwel geen inzichtvragen en al helemaal geen originaliteit. Sommige proffen stellen dat niet eens op prijs. De beste studenten zijn dus degenen die het beste kunnen blokken. Driemaal raden wat voor gevolgen dat heeft voor de PhD-studenten, die verplicht onderscheidingen moeten hebben.

... of wat voor een gevolgen dat heeft voor de volgende generatie professoren.

Van mijn Indiase studenten begrijp ik dat het er in India ook zo aan toegaat.