Pseudowetenschappers en vleeseters

quote:

Op zondag 11 september 2011 11:30 schreef psaexorp het volgende:
Beetje matig en onduidelijk onderzoek.

quote:

Op zondag 11 september 2011 12:15 schreef Sicstus het volgende:

[..]

Typisch een antwoord van een niet-wetenschapper.

quote:

Op zondag 11 september 2011 12:40 schreef psaexorp het volgende:

[..]

Dat had ik natuurlijk ook kunnen zeggen, als ik enigszins was gekwetst door de uitslag van dit ''onderzoek''. Maar dat ben ik dus niet in dit geval. Ik denk dat het voldoende is om te zeggen dat het niet deugt, hoe ik dat verwoord vind ik niet relevant.

quote:

Vanavond besteedt de voorpagina van NRC Handelsblad aandacht aan de onderzoeksfraude van de tot voor kort als zeer succesvol beschouwde hoogleraar sociale psychologie Diederik Stapel. Waar kranten zijn neponderzoek gretig nazeiden dat vlees eten hufterig maakt, vermoorden en vertrappen ze nu de man die de onderzoeksdata verzon voor conclusies die nooit getrokken hadden mogen worden. Zijn carrière is gebroken. Opvallend is echter dat zijn mede-onderzoeker Roos Vonk de dans lijkt te ontsnappen. Dat is niet terecht.

Ik heb medelijden met Stapel. Hij moet diep ongelukkig in een hoekje zijn gekropen. Ik hoop dat hij niet op onzalige gedachten komt. Ik ril als ik me in zijn situatie probeer te verplaatsen. Alle aandacht gaat op dit moment naar hem uit. Dat is beslist terecht. Een hoogleraar mag zijn data niet vervalsen, laat staan verzinnen. Het vertrouwen in de wetenschap is in het geding. Maar scheidt de sensatie en opwinding van de feiten en de conclusies die je daaruit moet trekken.

Hoe het zat en hoe ging het?

De NRC noemt Stapel een 'wonderboy'. Stapel bezorgde de Nederlandse sociale psychologie in het buitenland aanzien met inzichten die mensen intuïtief direct herkennen. "Een vrouw die na het huwelijk de naam van haar echtgenoot overneemt, wordt beoordeeld als afhankelijker en minder intelligent dan een vrouw die haar meisjesnaam behoudt". Stapel heeft data verzonnen om zulke mooie uitspraken te kunnen onderbouwen. Dat deed hij ook ten behoeve van een onderzoek waaruit moest blijken dat vleeseters onzeker zijn en uiterlijkheden nodig hebben om zich een volwaardig mens te voelen. Het paste geheel in het straatje van professor en publiciste Roos Vonk uit Nijmegen.
Het gefingeerde onderzoeksresultaat ging naar haar. Zij interpreteerde het en schreef er een persbericht bij. Dat ging naar de pers, terwijl zij wist dat er nog geen geaccepteerd artikel over was geschreven. In het persbericht noemt zij vleeseters 'hufteriger'. Hufterig, hufters en vleesters, die woorden gebruikte zij al in een artikel in de Volkskrant van augustus 2010.

In een tweet verklaarde Roos Vonk gisteravond dat ze 'verbijsterd' was toen ze 'vandaag' (lees: 'pas vanochtend') hoorde dat Diederik Stapel data had gefingeerd. In een verklaring als een Judaskus noemde ze hem een 'vriend' en maakte ze hem tot paria. Het was ijzingwekkend om te lezen. Vanmorgen verklaarde ze op radio 1 soortgelijke dingen, waarbij ze bovendien beweerde dat hoogleraren die samen onderzoeken doen nooit naar elkaars data vragen. Ze ging zelfs zover te verklaren dat hoogleraren de data van hun AIO's nooit bekijken. Dat zou 'not done' zijn. Dat is uiteraard niet zo. Dit zegt iets over Vonk. Zij heeft iets te verbergen.

Jan van Rongen schrijft hier vanavond dat hij Vonk lang voor gisteren confronteerde met het feit dat de dataset óf een fout bevatte óf niet kon bestaan. Vonk wimpelde het af en verklaarde hem onkundig, onervaren en geen antwoord waardig. Jan, een even kundig als ervaren statisticus, stond paf van zoveel geleerde arrogantie gecombineerd met statistisch onbenul. Vonk wist het allemaal beter. In werkelijkheid stond ze voor aap. Ze weet dat het een academische zonde is om onderzoek dat nog niet in de vorm van een controleerbaar artikel is verschenen naar buiten te brengen, laat staan zo prominent. Willens en wetens werkte ze eraan mee. Dat deed ze zelfs met een onnavolgbare arrogantie. Zij gebruikte Stapel in een campagne die zij al een jaar geleden startte. De 'hufter' zou een woord zijn dat door de pers was verzonnen, zei Vonk vanmorgen. Dat is domweg een leugen. Zij bracht het in de volksmond ten aanzien van vlees.

De NRC lijkt onder de indruk van haar vermoorde onschuld. De krant citeert Vonk: "de gedachte aan fraude is geen moment in me opgekomen" en legt zich vervolgens neer bij de verleidingskunsten van deze moderne Eva: Vonk gaat in een verklaring op haar website diep door het stof. „Ik moet aannemen dat ook de ‘vlees-data’ berusten op fraude. Bij het bespreken van de resultaten vond ik het wel vreemd dat Diederik de naam van de assistent [die het onderzoek had gedaan] niet noemde, maar de gedachte aan fraude is geen moment in me opgekomen.”
Vonk toont zich bezorgd over de reputatieschade voor de sociale psychologie. „Het is denkbaar dat deze omvangrijke misstap van één enkele collega effecten heeft op de reputatie van ons gehele vakgebied.”

Ze leidt de aandacht af. De werkelijke dader achter de vleeshufters ontsnapt. Daarom heb ik medelijden met Stapel. Hij wilde slechts schitteren als academicus en koos de leugen als middel. Zij kiest de leugen als doel.

quote:

Onderzoeken die in de media komen over (on)gezondheid van bepaalde soorten voedsel, komen vrijwel altijd uit de koker van belangenorganisaties. Mensen realiseren zich dat niet, want de bron is vaak obscuur of te weinig toegankelijk. Foute stellingen gaan echter een eigen leven leiden.

Een klassiek voorbeeld is een bericht uit de Telegraaf: “Tofu tast geheugen aan” (15 juli 2008): “Tofu en andere zogenoemde superfoods geven een verhoogd risico op geheugenverlies en kan [sic] zelfs leiden tot dementie”. Het spoor terug volgend, blijkt dit bericht via het vakblad “Meat & Meal” de media in te zijn gegaan. Een mooier voorbeeld van het in diskrediet brengen van vleesvervangers ken ik nog niet. Het blijkt te gaan om een onderzoek onder oudere dames in Indonesië, en helaas is tofu in dat land soms ernstig vervuild met chemische middelen die het geheugen kunnen aantasten.

Maar ook positieve berichten kunnen uit dat blad komen. Zo werd in nov. 2010 bericht dat het zien van rood vlees minder agressief maakt. Dit onderzoek onder ruim 80 proefpersonen ging als een lopend vuurtje over de wereld, tot verbijstering van de Canadese onderzoeker die een undergraduate bleek – en wiens gegevens uit zijn bachelors-scriptie kwamen. Maar het was wel een heel degelijk onderzoek, dat qua aanpak grote gelijkenis vertoont met het onderzoek van drie Nederlandse hoogleraren waar dit stukje over gaat.

Word je van vleeseten egoïstischer en asocialer?
Op 25 augustus 2011 verscheen in de RSS-feed van diverse kranten: “Vleeseters zijn egoïstischer en asocialer”. Met het Canadese onderzoek in het achterhoofd, wilde ik wel eens weten hoe dit resultaat bereikt was. Ik kwam, tot mijn niet geringe verbazing, tot de ontdekking dat de Radboud Universiteit dit persbericht had laten uitgaan, maar dat het onderzoek nog niet gepubliceerd was. Sterker: er was zelfs nog geen artikel geschreven, er was alleen maar een samenvatting voor de pers.

Het leek me, net als de “Meat & Meal” verhalen, een vorm van propaganda. In dit geval komt het bericht echter direct van een universiteit (kennelijk met input van de onderzoekers). Waarom zouden ze een persbericht publiceren over een nog niet geschreven en dus niet peer-reviewed artikel? Is dit onderzoek een Nobelprijs waard? Als het gewoon een dertien-in-een dozijn-verhaal is, lijkt het me duidelijk in strijd met de academische ethiek [1].

Ik besloot de auteurs te mailen: Roos Vonk (Nijmegen), Diederik Stapel (Tilburg) en Marcel Zeelenberg (Tilburg), alle drie hoogleraar. Mijn vraag was of ik inzicht kon krijgen in het onderzoek. Ik kreeg de samenvatting voor de pers.

Wat was nu eigenlijk de conclusie van het onderzoek?
Die samenvatting bevat metingen en methodes, maar geen conclusies. Die staan alleen in berichten van de Universiteit. Op de 26e had de Radboud Universiteit de conclusie al veranderd: nee, het gaat niet om het eten maar om het denken aan vlees. Een heel merkwaardige associatie dus. Hoe zit dat? Hoe kan dat?

Wat de conclusies van de drie onderzoekers nu precies zijn, weet ik nog steeds niet. Op een concept van dit artikel wensten zij niet te reageren. Wel blijkt Roos Vonk er in de pers nog steeds weinig moeite te hebben om in háár conclusies weer te spreken over het eten van rood vlees.

Afgelopen dinsdag 30 augustus zei ze in het Leidsch Dagblad:

RV: … maar ik denk dat rundvlees egoïstischer maakt.
LD: Waarom?
RV: Rood vlees geeft meer status. Het is meer een mannending. Een koe is tenslotte moeilijker te vangen dan een varken.
LD: Maar een varken kan toch harder rennen dan een koe?
RV: Oh, is dat zo? Dat wist ik niet. Maar als je wilt weten waarom mannen van rood vlees houden kun je dat misschien beter aan die vleesetende vrachtwagenchauffeurs vragen

Dit is uiteraard niet de logica van een hoogleraar, dit is de logica van een een activiste.

Het onderzoek heeft methodisch problemen
Terug naar het onderzoek. Laten we naar het eerste deelonderzoek kijken. Een groep van 32 personen wordt verdeeld in een test- en een controlegroep. De testgroep krijgt verhalen over de crisis aangeboden. De controlegroep over het ontstaan van waterdruppels. Het gaat om de inprenting: deze zou mensen kunnen beïnvloeden. “Priming” wordt het wel genoemd.

Na de inprenting wordt de keuze gegeven tussen een drietal maaltijden aan de hand van een omschrijving en een foto:

(1) biefstuk met gebakken aardappelschijfjes, bospeen, erwten en champignons
(2) krieltjes in kruidenroomsaus met courgette omelet
(3) vis met een korstje van sesamzaadjes met spruitjes, gebakken krieltjes en tomaatjes

Dan wordt gekeken wat de deelnemers kiezen en hoe ze scoren op onzekerheid en behoefte aan structuur. De eerste groep voelt zich onzekerder, heeft meer behoefte aan structuur en kiest vaker voor vlees. 44% van de testgroep en 15% van de controlegroep kiest voor de biefstuk. Impliciete conclusie: van stress krijg je meer trek in (rood) vlees.

Maar is dat zo? Want welk mechanisme kan hier ten grondslag aan liggen? Waarom neemt men niet aan dat van het denken aan waterdruppels de trek in vlees afneemt? Is dat raar? Maar de aanname dat iemand van stress meer trek in vlees krijgt is toch ook raar?

De fout in de methode is, dat aangenomen wordt dat de controlegroep maatgevend is voor het gemiddelde, en dat hoeft niet. Stel de keuze van de bevolking voor de biefstuk maaltijd is X%, dan zijn dit twee onafhankelijke steekproeven uit de totale populatie met een gemiddelde van resp. 44% en 15%. Dat verschil is ongetwijfeld significant, maar zolang we X niet kennen, geeft de statistiek geen enkele aanwijzing over wat het verschil kan veroorzaken.

Met andere woorden, de conclusie is het gevolg van een impliciete aanname, niet van de metingen. Deze fout zit in de methode van alle vier de beschreven experimenten. Beweren dat er causaliteit is, is de 2e fout. Er is slechts een statistisch verband. Omdat de causaliteit zo “raar” is, moeten eerst andere oorzaken worden uitgesloten. Wie had er honger? Wat was het tijdstip van de testen? Etc.

Dat maakt de methode in een andere test zo merkwaardig: Als de hypothese is dat je van het zien van een plaatje van een goed gegrilde en net aangesneden biefstuk asocialer wordt, waarom zijn die andere plaatjes dan van een starende koe met volle uiers, respectievelijk van een stoere goed in het blad zittende boom? Waarom niet andere etenswaren laten zien als een mooi gegaarde vis of een prima soufflé?

De cijfers zijn slordig
In de eerste test zijn er 32 deelnemers. Je zou dan verwachten dat het om 16 deelnemers in de testgroep en 16 in de controlegroep gaat. Maar dat kan niet, want 44% van 16 levert nog wel een mooi heel getal op, maar 15% van 16 is 2,4. Waren het er 2 geweest, dan was het percentage 13% geweest en waren het er 3 geweest dan was het percentage in de buurt van 18% geweest. Dat kan dus niet. En je kunt alle waarden proberen tussen 0 en 32, maar tegelijk afgerond 44% en 15% krijgen is onmogelijk.

Hetzelfde geldt voor de tweede test. N=34, en de percentages zijn 60% en 20%. Ook dat kan niet. Op de vraag welke statistische toetsen gebruikt zijn, kwam geen antwoord.

Conclusies
Het gaat vooralsnog om niet controleerbare en dubieuze conclusies, waarbij het achterliggend materiaal te summier is. Dat document maakt de indruk haastig in elkaar gezet te zijn (zo zijn de resultaten 2(a) en 2(b) verwisseld); de cijfers zijn slordig, de methode is minder geschikt voor de hypothese, of beter gezegd, de conclusies lijken er met de haren bij gesleept te zijn.
Het lijkt mij in strijd met de Academische ethiek dat dit zo naar buiten is gebracht.

Noot
[1] De “European Code of Conduct for Research Integrity” spreekt over “Honesty in presenting research goals and intentions, in precise and nuanced reporting ...” en over “fair and full and unbiased reporting”. Zie de site van de KNAW.