abonnement Unibet Coolblue Bitvavo
pi_101861369
Haha, wat is dit toch een geweldige backfire. Meneer verzint een onderzoekje waaruit blijkt dat vegetariërs geweldig zijn en vleeseters hufters, mevrouw vindt dat uiteraard geweldig en helemaal in haar straatje passen en laat het vol trots aan de media zien, en achteraf blijkt dat het allemaal verzonnen is. Ws. als mevrouw Vonk het niet massaal aan de media liet zien, het kleine brandje snel geblust zou zijn...
  maandag 12 september 2011 @ 16:48:21 #152
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101861450
Mevrouw Vonk had het allemaal kunnen weten als ze een beetje kon rekenen

Sprookjes: hoe je van tofu vergeetachtig wordt en van vleeseten asocialer


quote:
Onderzoeken die in de media komen over (on)gezondheid van bepaalde soorten voedsel, komen vrijwel altijd uit de koker van belangenorganisaties. Mensen realiseren zich dat niet, want de bron is vaak obscuur of te weinig toegankelijk. Foute stellingen gaan echter een eigen leven leiden.

Een klassiek voorbeeld is een bericht uit de Telegraaf: “Tofu tast geheugen aan” (15 juli 2008): “Tofu en andere zogenoemde superfoods geven een verhoogd risico op geheugenverlies en kan [sic] zelfs leiden tot dementie”. Het spoor terug volgend, blijkt dit bericht via het vakblad “Meat & Meal” de media in te zijn gegaan. Een mooier voorbeeld van het in diskrediet brengen van vleesvervangers ken ik nog niet. Het blijkt te gaan om een onderzoek onder oudere dames in Indonesië, en helaas is tofu in dat land soms ernstig vervuild met chemische middelen die het geheugen kunnen aantasten.

Maar ook positieve berichten kunnen uit dat blad komen. Zo werd in nov. 2010 bericht dat het zien van rood vlees minder agressief maakt. Dit onderzoek onder ruim 80 proefpersonen ging als een lopend vuurtje over de wereld, tot verbijstering van de Canadese onderzoeker die een undergraduate bleek – en wiens gegevens uit zijn bachelors-scriptie kwamen. Maar het was wel een heel degelijk onderzoek, dat qua aanpak grote gelijkenis vertoont met het onderzoek van drie Nederlandse hoogleraren waar dit stukje over gaat.

Word je van vleeseten egoïstischer en asocialer?
Op 25 augustus 2011 verscheen in de RSS-feed van diverse kranten: “Vleeseters zijn egoïstischer en asocialer”. Met het Canadese onderzoek in het achterhoofd, wilde ik wel eens weten hoe dit resultaat bereikt was. Ik kwam, tot mijn niet geringe verbazing, tot de ontdekking dat de Radboud Universiteit dit persbericht had laten uitgaan, maar dat het onderzoek nog niet gepubliceerd was. Sterker: er was zelfs nog geen artikel geschreven, er was alleen maar een samenvatting voor de pers.

Het leek me, net als de “Meat & Meal” verhalen, een vorm van propaganda. In dit geval komt het bericht echter direct van een universiteit (kennelijk met input van de onderzoekers). Waarom zouden ze een persbericht publiceren over een nog niet geschreven en dus niet peer-reviewed artikel? Is dit onderzoek een Nobelprijs waard? Als het gewoon een dertien-in-een dozijn-verhaal is, lijkt het me duidelijk in strijd met de academische ethiek [1].

Ik besloot de auteurs te mailen: Roos Vonk (Nijmegen), Diederik Stapel (Tilburg) en Marcel Zeelenberg (Tilburg), alle drie hoogleraar. Mijn vraag was of ik inzicht kon krijgen in het onderzoek. Ik kreeg de samenvatting voor de pers.

Wat was nu eigenlijk de conclusie van het onderzoek?
Die samenvatting bevat metingen en methodes, maar geen conclusies. Die staan alleen in berichten van de Universiteit. Op de 26e had de Radboud Universiteit de conclusie al veranderd: nee, het gaat niet om het eten maar om het denken aan vlees. Een heel merkwaardige associatie dus. Hoe zit dat? Hoe kan dat?

Wat de conclusies van de drie onderzoekers nu precies zijn, weet ik nog steeds niet. Op een concept van dit artikel wensten zij niet te reageren. Wel blijkt Roos Vonk er in de pers nog steeds weinig moeite te hebben om in háár conclusies weer te spreken over het eten van rood vlees.

Afgelopen dinsdag 30 augustus zei ze in het Leidsch Dagblad:

RV: … maar ik denk dat rundvlees egoïstischer maakt.
LD: Waarom?
RV: Rood vlees geeft meer status. Het is meer een mannending. Een koe is tenslotte moeilijker te vangen dan een varken.
LD: Maar een varken kan toch harder rennen dan een koe?
RV: Oh, is dat zo? Dat wist ik niet. Maar als je wilt weten waarom mannen van rood vlees houden kun je dat misschien beter aan die vleesetende vrachtwagenchauffeurs vragen

Dit is uiteraard niet de logica van een hoogleraar, dit is de logica van een een activiste.

Het onderzoek heeft methodisch problemen
Terug naar het onderzoek. Laten we naar het eerste deelonderzoek kijken. Een groep van 32 personen wordt verdeeld in een test- en een controlegroep. De testgroep krijgt verhalen over de crisis aangeboden. De controlegroep over het ontstaan van waterdruppels. Het gaat om de inprenting: deze zou mensen kunnen beïnvloeden. “Priming” wordt het wel genoemd.

Na de inprenting wordt de keuze gegeven tussen een drietal maaltijden aan de hand van een omschrijving en een foto:

(1) biefstuk met gebakken aardappelschijfjes, bospeen, erwten en champignons
(2) krieltjes in kruidenroomsaus met courgette omelet
(3) vis met een korstje van sesamzaadjes met spruitjes, gebakken krieltjes en tomaatjes

Dan wordt gekeken wat de deelnemers kiezen en hoe ze scoren op onzekerheid en behoefte aan structuur. De eerste groep voelt zich onzekerder, heeft meer behoefte aan structuur en kiest vaker voor vlees. 44% van de testgroep en 15% van de controlegroep kiest voor de biefstuk. Impliciete conclusie: van stress krijg je meer trek in (rood) vlees.

Maar is dat zo? Want welk mechanisme kan hier ten grondslag aan liggen? Waarom neemt men niet aan dat van het denken aan waterdruppels de trek in vlees afneemt? Is dat raar? Maar de aanname dat iemand van stress meer trek in vlees krijgt is toch ook raar?

De fout in de methode is, dat aangenomen wordt dat de controlegroep maatgevend is voor het gemiddelde, en dat hoeft niet. Stel de keuze van de bevolking voor de biefstuk maaltijd is X%, dan zijn dit twee onafhankelijke steekproeven uit de totale populatie met een gemiddelde van resp. 44% en 15%. Dat verschil is ongetwijfeld significant, maar zolang we X niet kennen, geeft de statistiek geen enkele aanwijzing over wat het verschil kan veroorzaken.

Met andere woorden, de conclusie is het gevolg van een impliciete aanname, niet van de metingen. Deze fout zit in de methode van alle vier de beschreven experimenten. Beweren dat er causaliteit is, is de 2e fout. Er is slechts een statistisch verband. Omdat de causaliteit zo “raar” is, moeten eerst andere oorzaken worden uitgesloten. Wie had er honger? Wat was het tijdstip van de testen? Etc.

Dat maakt de methode in een andere test zo merkwaardig: Als de hypothese is dat je van het zien van een plaatje van een goed gegrilde en net aangesneden biefstuk asocialer wordt, waarom zijn die andere plaatjes dan van een starende koe met volle uiers, respectievelijk van een stoere goed in het blad zittende boom? Waarom niet andere etenswaren laten zien als een mooi gegaarde vis of een prima soufflé?

De cijfers zijn slordig
In de eerste test zijn er 32 deelnemers. Je zou dan verwachten dat het om 16 deelnemers in de testgroep en 16 in de controlegroep gaat. Maar dat kan niet, want 44% van 16 levert nog wel een mooi heel getal op, maar 15% van 16 is 2,4. Waren het er 2 geweest, dan was het percentage 13% geweest en waren het er 3 geweest dan was het percentage in de buurt van 18% geweest. Dat kan dus niet. En je kunt alle waarden proberen tussen 0 en 32, maar tegelijk afgerond 44% en 15% krijgen is onmogelijk.

Hetzelfde geldt voor de tweede test. N=34, en de percentages zijn 60% en 20%. Ook dat kan niet. Op de vraag welke statistische toetsen gebruikt zijn, kwam geen antwoord.

Conclusies
Het gaat vooralsnog om niet controleerbare en dubieuze conclusies, waarbij het achterliggend materiaal te summier is. Dat document maakt de indruk haastig in elkaar gezet te zijn (zo zijn de resultaten 2(a) en 2(b) verwisseld); de cijfers zijn slordig, de methode is minder geschikt voor de hypothese, of beter gezegd, de conclusies lijken er met de haren bij gesleept te zijn.
Het lijkt mij in strijd met de Academische ethiek dat dit zo naar buiten is gebracht.

Noot
[1] De “European Code of Conduct for Research Integrity” spreekt over “Honesty in presenting research goals and intentions, in precise and nuanced reporting ...” en over “fair and full and unbiased reporting”. Zie de site van de KNAW.
http://www.foodlog.nl/art(...)-vleeseten-asocialer
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_101863453
quote:
0s.gif Op maandag 12 september 2011 00:36 schreef Kees22 het volgende:
Precies!
En intuïtie is wel niet wetenschappelijk, maar is vaak wel een uitermate goed instrument om interessante onderzoeksrichtingen te vinden. (Zo, dit taalgebruik zal wel voldoende indruk maken, hoop ik.)
Intuitie is geen instrument maar een gave of inzicht dat men krijgt door lang op een terrein onderzoek te doen.
quote:
Intuïtie moet getoetst worden, zeker. Maar bedenk wel: het periodiek systeem der elementen en de benzeenring bestonden natuurlijk al lang, maar werden pas begrepen als gevolg van dromen.
Nee, precies andersom. De intuitie of de droom gaf het idee om het onderzoek een bepaalde richting op te leiden.
quote:
Overigens moet ik mijn intuïtie over Roos Vonk bijstellen: ze heeft duidelijke waarschuwingen dat percentages niet konden kloppen in de wind geslagen.
Ik was wel een fan van haar wegens haar laatste boek. Shit.
Ik heb die muts 1 x op TV gezien, mijn intuitie en gezond verstand zei me dat zij totaal ongeschikt is als wetenschapper. Uiteraard wordt dit de komende tijd nog wel verder onderzocht, het stuk uit de NRC lijkt mijn intuitie te bevestigen :)
Exaudi orationem meam
Requiem aeternam dona eis, Domine.
Et lux perpetua luceat eis.
  maandag 12 september 2011 @ 18:51:40 #154
219855 finsdefis
I.. I got authoritah?
pi_101866325
quote:
0s.gif Op maandag 12 september 2011 17:39 schreef Oud_student het volgende:

[..]

Intuitie is geen instrument maar een gave of inzicht dat men krijgt door lang op een terrein onderzoek te doen.

[..]

Nee, precies andersom. De intuitie of de droom gaf het idee om het onderzoek een bepaalde richting op te leiden.

Het is allebei. Er ontstaat een soort reflectief proces waardoor je een bepaalde richting op wil door je intuïtie, hier onderzoek naar gaat doen, je hypotheses aanpast e.d. Vervolgens geeft je intuïtie je steeds beter startposities bij het doen van onderzoek, je kan immers steeds beter aanvoelen wat wellicht klopt en wat niet, waardoor je doodlopende richtingen vermijdt.
The strong do what they can and the weak suffer what they must.
- Thucydides
  maandag 12 september 2011 @ 18:53:13 #155
219855 finsdefis
I.. I got authoritah?
pi_101866396
Overigens gaat er een commissie onderzoek naar doen, zal wel weer het standaard "het was niet netjes, maar..."-verhaal worden.
The strong do what they can and the weak suffer what they must.
- Thucydides
  maandag 12 september 2011 @ 18:55:15 #156
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101866485
Die zal een streng opgeheven vingertje krijgen, Foei!
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_101866568
quote:
0s.gif Op maandag 12 september 2011 18:53 schreef finsdefis het volgende:
Overigens gaat er een commissie onderzoek naar doen, zal wel weer het standaard "het was niet netjes, maar..."-verhaal worden.
Wel een beetje vreemd trouwens. Ik neem aan dat een universiteit richtlijnen heeft over het al dan niet naar buiten brengen van onderzoeksconclusies in de afwezigheid van een 'peer reviewed' artikel. Waarom daar dan weer een commissie naar moet kijken is mij een raadsel.

Aan de andere kant zal er wel niet heel zwaar aan getild worden en blijft het hooguit bij een vermaning.
Volkorenbrood: "Geen quotes meer in jullie sigs gaarne."
pi_101887294
quote:
0s.gif Op maandag 12 september 2011 17:39 schreef Oud_student het volgende:

[..]

Intuitie is geen instrument maar een gave of inzicht dat men krijgt door lang op een terrein onderzoek te doen.
Dat is nou niet bepaald een duidelijker omschrijving.
In vind een gave of inzicht die gebruikt worden om richting te geven een instrument, zoals een kompas.
quote:
[..]

Nee, precies andersom. De intuitie of de droom gaf het idee om het onderzoek een bepaalde richting op te leiden.
De onderzoeken liepen al lang en liepen frustrerend vast. De dromen gaven de richting tot een richting die wel perspectief bood.
quote:
[..]

Ik heb die muts 1 x op TV gezien, mijn intuitie en gezond verstand zei me dat zij totaal ongeschikt is als wetenschapper. Uiteraard wordt dit de komende tijd nog wel verder onderzocht, het stuk uit de NRC lijkt mijn intuitie te bevestigen :)
Ik las een interview met haar over haar laatste boek in de Volkskrant. Ze bevestigde bijna woord voor woord wat ik ook ervaren heb.
Zo vanzelfsprekend, dat ik er geen boek aan gewijd zou hebben. Maar tegelijk ook zo veronachtzaamd, dat ze kennelijk opzien baarde.

Anderzijds: er was ook iets vreemds aan haar.

We zullen zien.
Onderschat nooit de kracht van domme mensen in grote groepen!
Der Irrsinn ist bei Einzelnen etwas Seltenes - aber bei Gruppen, Parteien, Völkern, Zeiten die Regel. (Friedrich Nietzsche)
pi_101887352
quote:
0s.gif Op maandag 12 september 2011 16:33 schreef Pietverdriet het volgende:
Mooi verhaal waarom het onterecht is dat Roos Vonk de dans ontspringt


http://www.foodlog.nl/artikel/stapel-hangt-vonk-ontsnapt

[..]

Dat vetgedrukte stuk: inderdaad, dat had haar wakker moeten maken.
Onderschat nooit de kracht van domme mensen in grote groepen!
Der Irrsinn ist bei Einzelnen etwas Seltenes - aber bei Gruppen, Parteien, Völkern, Zeiten die Regel. (Friedrich Nietzsche)
  dinsdag 13 september 2011 @ 07:58:41 #160
219855 finsdefis
I.. I got authoritah?
pi_101889435
quote:
0s.gif Op dinsdag 13 september 2011 01:10 schreef Kees22 het volgende:

Ik las een interview met haar over haar laatste boek in de Volkskrant. Ze bevestigde bijna woord voor woord wat ik ook ervaren heb.
Zo vanzelfsprekend, dat ik er geen boek aan gewijd zou hebben. Maar tegelijk ook zo veronachtzaamd, dat ze kennelijk opzien baarde.

Anderzijds: er was ook iets vreemds aan haar.

We zullen zien.
Kan best zo zijn dat het op gevoel gebaseerd zo is, en dat er voor velen een waarheid achter zit. Maakt het natuurlijk niet wetenschappelijk ;)
The strong do what they can and the weak suffer what they must.
- Thucydides
pi_101889460
@Pietverdriet: waarom roept dit onderwerp eigenlijk zoveel emotie bij je op?
Sinterklaas, Sinterklaas, en NATUURLIJK ZWARTE PIET!
  dinsdag 13 september 2011 @ 08:56:48 #162
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101890029
quote:
0s.gif Op dinsdag 13 september 2011 08:01 schreef Sicstus het volgende:
@Pietverdriet: waarom roept dit onderwerp eigenlijk zoveel emotie bij je op?
Doet het dat?
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
  dinsdag 13 september 2011 @ 08:57:27 #163
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101890033
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
  dinsdag 13 september 2011 @ 09:00:06 #164
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101890077
Ook hier loopt ze het weer in te vullen voor de onderzochte doelgroep. Ze maakt ook hier de fout niet te onderzoeken maar in te vullen voor de onderzoeksgroep (vleeseters) dat ze fel reageren en waarom dat is. Ze geeft aan dat ze alleen maar een controle doet als het onderzoek niet voldoet aan de verwachtingen.

[ Bericht 9% gewijzigd door Pietverdriet op 13-09-2011 09:05:15 ]
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_101890318
Ik zag het gister. Ben stiekem wel een beetje vereerd dat figuren zoals zij mij een asociale hufter noemen.
  dinsdag 13 september 2011 @ 09:38:17 #166
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101890679
quote:
9s.gif Op dinsdag 13 september 2011 09:18 schreef Specularium het volgende:
Ik zag het gister. Ben stiekem wel een beetje vereerd dat figuren zoals zij mij een asociale hufter noemen.
Projectie noemen ze dat in de psychologie
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
  dinsdag 13 september 2011 @ 09:42:38 #167
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_101890777
Wat mij opviel is dat ze een ijskoude kikker is die alleen met haar mond lacht, niet met haar ogen. Ze toont geen enkele empathie met haar collega en vriend (volgens haar) die geruineerd is. Ze denkt maar aan 1 ding en dat is Roos Vonk
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_101891692
Van geen vlees eten word je niet agressief, kijk maar:

pi_101892143
Nee dan word je crimineel
Beneath the gold, the bitter steel
pi_101892174
quote:
Vleeseters denken meer in termen van dominantie en de baas zijn. Vlees eten is een manier om je te verheffen boven anderen.
:')
pi_101900218
quote:
0s.gif Op dinsdag 13 september 2011 10:51 schreef -Strawberry- het volgende:

[..]

:')
Dat gaat bij een peer review natuurlijk per direct door de shredder.
Volkorenbrood: "Geen quotes meer in jullie sigs gaarne."
  woensdag 14 september 2011 @ 00:47:01 #172
47122 ATuin-hek
theguyver's sidekick!
pi_101925607
quote:
0s.gif Op dinsdag 13 september 2011 15:20 schreef Monolith het volgende:

[..]

Dat gaat bij een peer review natuurlijk per direct door de shredder.
Dat denk ik wel ja...
Egregious professor of Cruel and Unusual Geography
Onikaan ni ov dovah
pi_101927826
quote:
0s.gif Op woensdag 14 september 2011 00:47 schreef ATuin-hek het volgende:

[..]

Dat denk ik wel ja...
Het is ook niet ongebruikelijk om dit soort zaken tegen te komen in een persbericht. Ook wanneer er wel een peer reviewed artikel aan het bericht ten grondslag ligt, wil men zich nog wel iets sterker uitdrukken in het persbericht dan in het daadwerkelijke artikel.
Volkorenbrood: "Geen quotes meer in jullie sigs gaarne."
  woensdag 14 september 2011 @ 09:22:46 #174
47122 ATuin-hek
theguyver's sidekick!
pi_101929314
quote:
0s.gif Op woensdag 14 september 2011 06:55 schreef Monolith het volgende:

[..]

Het is ook niet ongebruikelijk om dit soort zaken tegen te komen in een persbericht. Ook wanneer er wel een peer reviewed artikel aan het bericht ten grondslag ligt, wil men zich nog wel iets sterker uitdrukken in het persbericht dan in het daadwerkelijke artikel.
Oh dat zeker :) Ik kijk op nu.nl nog wel eens naar dat soort berichten. Best interessant (en bedroevend) om te zien hoe vaak ze er naast zitten met neuroscience onderzoeken...
Egregious professor of Cruel and Unusual Geography
Onikaan ni ov dovah
pi_101929444
quote:
0s.gif Op dinsdag 13 september 2011 09:42 schreef Pietverdriet het volgende:
Wat mij opviel is dat ze een ijskoude kikker is die alleen met haar mond lacht, niet met haar ogen. Ze toont geen enkele empathie met haar collega en vriend (volgens haar) die geruineerd is. Ze denkt maar aan 1 ding en dat is Roos Vonk
Het Volkert van der G syndroom, in de kringen van het dieren activisme veel voorkomend.
(data set op aanvraag beschikbaar ;) )
Exaudi orationem meam
Requiem aeternam dona eis, Domine.
Et lux perpetua luceat eis.
pi_101929477
quote:
0s.gif Op woensdag 14 september 2011 09:22 schreef ATuin-hek het volgende:

[..]

Oh dat zeker :) Ik kijk op nu.nl nog wel eens naar dat soort berichten. Best interessant (en bedroevend) om te zien hoe vaak ze er naast zitten met neuroscience onderzoeken...
Huh, ik vind het gebruik van het woord neuroscience in gigantische over-rating voor deze amateurpsychologische "onderzoeken".
Exaudi orationem meam
Requiem aeternam dona eis, Domine.
Et lux perpetua luceat eis.
pi_101929482
quote:
0s.gif Op woensdag 14 september 2011 09:31 schreef Oud_student het volgende:

[..]

Huh, ik vind het gebruik van het woord neuroscience een gigantische over-rating voor deze amateurpsychologische "onderzoeken".
Exaudi orationem meam
Requiem aeternam dona eis, Domine.
Et lux perpetua luceat eis.
  woensdag 14 september 2011 @ 09:41:35 #178
47122 ATuin-hek
theguyver's sidekick!
pi_101929659
quote:
0s.gif Op woensdag 14 september 2011 09:31 schreef Oud_student het volgende:

[..]

Huh, ik vind het gebruik van het woord neuroscience in gigantische over-rating voor deze amateurpsychologische "onderzoeken".
Beter lezen ;) ik heb het over persberichten over peer reviewed onderzoek in het algemeen, met neuroscience in het bijzonder. Dat laatste omdat ik zelf actief ben in dat veld.
Egregious professor of Cruel and Unusual Geography
Onikaan ni ov dovah
pi_101935003
quote:
0s.gif Op woensdag 14 september 2011 09:22 schreef ATuin-hek het volgende:

[..]

Oh dat zeker :) Ik kijk op nu.nl nog wel eens naar dat soort berichten. Best interessant (en bedroevend) om te zien hoe vaak ze er naast zitten met neuroscience onderzoeken...
Nou ja de interpretatie van de non-specialistische media is vaak al helemaal beroerd, maar ik doelde meer op het feit dat onderzoekers en instituten nog wel eens de neiging hebben om de conclusies in persberichten iets stelliger te formuleren.

Op neurowetenschappelijke publicaties valt ook nog wel weer het een en ander af te dingen overigens. :P

quote:
Brain imaging studies report more positive findings than their numbers can support. This is fishy.

While the authorities are distracted by mass disorder, we can do some statistics. You’ll have seen plenty of news stories telling you that one part of the brain is bigger, or smaller, in people with a particular mental health problem, or even a specific job. These are generally based on real, published scientific research. But how reliable are the studies?

One way of critiquing a piece of research is to read the academic paper itself, in detail, looking for flaws. But that might not be enough, if some sources of bias might exist outside the paper, in the wider system of science.

By now you’ll be familiar with publication bias: the phenomenon where studies with boring negative results are less likely to get written up, and less likely to get published. Normally you can estimate this using a tool like, say, a funnel plot. The principle behind these is simple: big expensive landmark studies are harder to brush under the carpet, but small studies can disappear more easily. So you split your studies into “big ones”, and “small ones”: if the small studies, averaged out together, give a more positive result than the big studies, then maybe some small negative studies have gone missing in action.

Sadly this doesn’t work brain scan studies, because there’s not enough variation in size. So Professor John Ioannidis, a godlike figure in the field of “research about research”, took a different approach. He collected a large representative sample of these anatomical studies, counted up how many positive results they got, and how positive those results were, and then compared this to how many similarly positive results you could plausibly have expected to detect, simply from the sizes of the studies.

This can be derived from something called the “power calculation”. Everyone knows that bigger is better when collecting data for a piece of research: the more you have, the greater your ability to detect a modest effect. What people often miss is that the size of sample needed also changes with the size of the effect you’re trying to detect: detecting a true 0.2% difference in the size of the hippocampus between two groups, say, would need more subjects than a study aiming to detect a huge 25% difference.

By working backwards and sideways from these kinds of calculations, Ioannidis was able to to determine, from the sizes of effects measured, and from the numbers of people scanned, how many positive findings could plausibly have been expected, and compare that to how many were actually reported. The answer was stark: even being generous, there were twice as many positive findings as you could realistically have expected from the amount of data reported on.

What could explain this? Inadequate blinding is an issue: a fair amount of judgement goes into measuring the size of a brain area on a scan, so wishful nudges can creep in. And boring old publication bias is another: maybe whole negative papers aren’t getting published.

But a final, more interesting explanation is also possible. In these kinds of studies, it’s possible that many brain areas are measured, to see if they’re bigger or smaller, and maybe, then, only the positive findings get reported, within each study.

There is one final line of evidence to support this. In studies of depression, for example, 31 studies report data on the hippocampus, 6 on the putamen, and 7 on the prefrontal cortex. Maybe, perhaps, more investigators really did focus solely on the hippocampus. But given how easy it is to measure the size of another area – once you’ve recruited and scanned your participants – it’s also possible that people are measuring these other areas, finding no change, and not bothering to report that negative result in their paper, alongside the positive ones they’ve found.

There’s only one way to prevent this: researchers would have to publicly pre-register what areas they plan to measure, before they begin, and report all findings. In the absence of that process, the entire field might be distorted, by a form of exaggeration that is – we trust – honest and unconscious, but more interestingly, collective and disseminated.
bron
Volkorenbrood: "Geen quotes meer in jullie sigs gaarne."
  woensdag 14 september 2011 @ 13:29:27 #180
47122 ATuin-hek
theguyver's sidekick!
pi_101935630
quote:
0s.gif Op woensdag 14 september 2011 13:06 schreef Monolith het volgende:

[..]

Nou ja de interpretatie van de non-specialistische media is vaak al helemaal beroerd, maar ik doelde meer op het feit dat onderzoekers en instituten nog wel eens de neiging hebben om de conclusies in persberichten iets stelliger te formuleren.

Op neurowetenschappelijke publicaties valt ook nog wel weer het een en ander af te dingen overigens. :P

[..]

bron
Oh dat zeker hoor :P We hebben binnen het centrum al wel iets wat naar zoiets uit zou kunnen groeien. Iedereen moet aan de start van een project een presentatie geven over wat je wil meten, wat je gaat testen, wat de hypotheses zijn etc. Imo erg nuttig, ook omdat het de kans geeft om kritiek of toevoegingen uit onverwachte hoeken te krijgen.
Egregious professor of Cruel and Unusual Geography
Onikaan ni ov dovah
  woensdag 14 september 2011 @ 21:43:00 #181
219855 finsdefis
I.. I got authoritah?
pi_101955178
quote:
0s.gif Op dinsdag 13 september 2011 10:51 schreef -Strawberry- het volgende:

[..]

:')
Wat :') dat moet wel de meest achterlijke conclusie ooit zijn. Weet niet wie 'm getrokken heeft, maar die verdient wel een enorme faalprijs.
The strong do what they can and the weak suffer what they must.
- Thucydides
  woensdag 9 januari 2013 @ 16:37:07 #182
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_121357713
Leuk om dit terug te lezen, dat ik als een van de eerste riep dat dit flut was, wat een van de grootste wetenschapsfraude zaken bleek
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_121357966
quote:
0s.gif Op woensdag 9 januari 2013 16:37 schreef Pietverdriet het volgende:
Leuk om dit terug te lezen, dat ik als een van de eerste riep dat dit flut was, wat een van de grootste wetenschapsfraude zaken bleek
Je bent fantastisch Piet.
The problem is not the occupation, but how people deal with it.
  woensdag 9 januari 2013 @ 16:46:55 #184
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_121358085
quote:
9s.gif Op woensdag 9 januari 2013 16:44 schreef waht het volgende:

[..]

Je bent fantastisch Piet.
Dat hoeft iig niet onderzocht te worden.
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_121358178
quote:
0s.gif Op woensdag 9 januari 2013 16:46 schreef Pietverdriet het volgende:

[..]

Dat hoeft iig niet onderzocht te worden.
Nee, maar een peer-review zou niet misstaan.
The problem is not the occupation, but how people deal with it.
  woensdag 9 januari 2013 @ 17:10:55 #186
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_121358967
quote:
0s.gif Op woensdag 9 januari 2013 16:49 schreef waht het volgende:

[..]

Nee, maar een peer-review zou niet misstaan.
Ik review graag peren, helaas zijn de meesten niet rijp
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_121359620
quote:
0s.gif Op woensdag 9 januari 2013 16:49 schreef waht het volgende:

[..]

Nee, maar een peer-review zou niet misstaan.
  woensdag 9 januari 2013 @ 17:43:37 #188
65394 Montov
Dogmaticus Irritantus
pi_121360166
quote:
0s.gif Op woensdag 9 januari 2013 16:37 schreef Pietverdriet het volgende:
Leuk om dit terug te lezen, dat ik als een van de eerste riep dat dit flut was, wat een van de grootste wetenschapsfraude zaken bleek
Dat betekent dat je op die dag naast dit topic nóg een keer de juiste tijd aanwees.
Géén kloon van tvlxd!
pi_121381370
quote:
0s.gif Op woensdag 14 september 2011 21:43 schreef finsdefis het volgende:

[..]

Wat :') dat moet wel de meest achterlijke conclusie ooit zijn. Weet niet wie 'm getrokken heeft, maar die verdient wel een enorme faalprijs.
Vet van mij.
Het is verspilling van een bijdrage, maar het gebruik van ooit in deze zin is incorrect en dom.
Onderschat nooit de kracht van domme mensen in grote groepen!
Der Irrsinn ist bei Einzelnen etwas Seltenes - aber bei Gruppen, Parteien, Völkern, Zeiten die Regel. (Friedrich Nietzsche)
  donderdag 10 januari 2013 @ 15:48:44 #190
219855 finsdefis
I.. I got authoritah?
pi_121395842
quote:
0s.gif Op donderdag 10 januari 2013 02:06 schreef Kees22 het volgende:

[..]

Vet van mij.
Het is verspilling van een bijdrage, maar het gebruik van ooit in deze zin is incorrect en dom.
Dit zal dan ook wel een verspilling zijn, aangezien het een reactie is op een verspilde bijdrage, maar muggenzifterij hebben we inderdaad niets aan. Het is een algemeen geaccepteerde manier van retoriek (of dit nu goede of slechte is maakt niet uit) om een bepaald onderdeel van je mening extra kracht bij te zetten door hyperbolen te gebruiken. Dat je niet verder kijkt dan een letterlijke lezing is ook enigszins dommig en kortzichtig :)
The strong do what they can and the weak suffer what they must.
- Thucydides
pi_121422459
quote:
15s.gif Op donderdag 10 januari 2013 15:48 schreef finsdefis het volgende:

[..]

Dit zal dan ook wel een verspilling zijn, aangezien het een reactie is op een verspilde bijdrage, maar muggenzifterij hebben we inderdaad niets aan. Het is een algemeen geaccepteerde manier van retoriek (of dit nu goede of slechte is maakt niet uit) om een bepaald onderdeel van je mening extra kracht bij te zetten door hyperbolen te gebruiken. Dat je niet verder kijkt dan een letterlijke lezing is ook enigszins dommig en kortzichtig :)
Het gebruik van de overtreffende trap plus ever ooit houdt mij al bezig sinds het eerste gebruik in ongeveer de jaren '70 van de vorige eeuw.
Naar mijn idee is het inderdaad, helaas, een algemeen geaccepteerde vorm geworden, tot aan het NOS-journaal toe. Maar inderdaad: een hyperbool. Geen overtreffende trap, maar een overdrijvende trap.
Dat is mijn probleem niet zozeer. Mijn ergernis is, dat de meeste gebruikers geen idee hebben wat ze uitspreken.
Onderschat nooit de kracht van domme mensen in grote groepen!
Der Irrsinn ist bei Einzelnen etwas Seltenes - aber bei Gruppen, Parteien, Völkern, Zeiten die Regel. (Friedrich Nietzsche)
pi_121471040
quote:
0s.gif Op vrijdag 26 augustus 2011 00:31 schreef Pietverdriet het volgende:

[..]

Ooit zo een triest vooringenomen onderzoek resultaat gelezen?
Triest dit. En dat onderzoeksgeld had ook besteed kunnen worden aan wiegedood, dementie, taaislijmziekte, malaria, etc etc
Zeker maar omdat de term wetenschap nog altijd iets magisch heeft,wordt het altijd aangehaald alsmede flink gesubsidieerd door de overheid en wordt elk rapport als "de waarheid"gezien.
  zaterdag 12 januari 2013 @ 16:05:17 #193
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_121472929
quote:
6s.gif Op zaterdag 12 januari 2013 15:05 schreef Iwanius het volgende:

[..]

Zeker maar omdat de term wetenschap nog altijd iets magisch heeft,wordt het altijd aangehaald alsmede flink gesubsidieerd door de overheid en wordt elk rapport als "de waarheid"gezien.
En mag je er vooral geen kritiek hebben op de mores. Mensen die anders denken over het broeikas effect worden verketterd bijvoorbeeld, een echt wetenschappelijk debat is daar onmogelijk
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_121476798
quote:
0s.gif Op zaterdag 12 januari 2013 16:05 schreef Pietverdriet het volgende:

[..]

En mag je er vooral geen kritiek hebben op de mores. Mensen die anders denken over het broeikas effect worden verketterd bijvoorbeeld, een echt wetenschappelijk debat is daar onmogelijk
Ja, daar klagen mensen als Dembski en Duesberg ook over.
Volkorenbrood: "Geen quotes meer in jullie sigs gaarne."
pi_121484343
Ik neem aan dat je Global Warming bedoelt en niet het broeikaseffect (dat is nogal een verschil)? Ik heb nog geen klimaat"scepticus" gezien die met een goede alternatieve hypothese is gekomen. Het blijft meestal bij bashen.
You don't need a weatherman to know which way the wind blows.
---------------------------------------------------------------------------------------------------------------------------------------------
Album top 100 2024
pi_121741944
Dit hele topic doet mij denken aan die kannibaal die zo graag vegetariër wilde worden.
Maar aan de andere kant wilde hij toch ook niet zijn stamtradities loslaten.
Kun jij je een heftiger tweestrijd en zielenood voorstellen waarin die arme kannibaal terecht was gekomen?
Na lang en diep nadenken kwam hij er uit, hij at voortaan alleen nog maar vegetariërs.
Dat is nu ook precies de reden waarom ik vlees eet van vegetarische dieren, zoals vegetarisch koeienvlees.
pi_121788162
quote:
0s.gif Op vrijdag 18 januari 2013 21:54 schreef Schonedal het volgende:
Dit hele topic doet mij denken aan die kannibaal die zo graag vegetariër wilde worden.
Maar aan de andere kant wilde hij toch ook niet zijn stamtradities loslaten.
Kun jij je een heftiger tweestrijd en zielenood voorstellen waarin die arme kannibaal terecht was gekomen?
Na lang en diep nadenken kwam hij er uit, hij at voortaan alleen nog maar vegetariërs.
Dat is nu ook precies de reden waarom ik vlees eet van vegetarische dieren, zoals vegetarisch koeienvlees.
Goeien.
pi_121812092
quote:
0s.gif Op woensdag 14 september 2011 13:06 schreef Monolith het volgende:

[..]

Nou ja de interpretatie van de non-specialistische media is vaak al helemaal beroerd, maar ik doelde meer op het feit dat onderzoekers en instituten nog wel eens de neiging hebben om de conclusies in persberichten iets stelliger te formuleren.

Op neurowetenschappelijke publicaties valt ook nog wel weer het een en ander af te dingen overigens. :P

[..]

bron
dit is denk ik een groot onderbelicht effect voor veels te veel onderzoeken.
het is heel makkelijk om naar een hele berg variabelen te kijken, en dan vindt je vanzelf wel ergens een relatie, waarna je de rest van de gegevens weggooit en je onderzoek publiceert alsof je begonnen was met het zoeken naar die relatie.
  zondag 28 april 2013 @ 08:47:10 #199
45206 Pietverdriet
Ik wou dat ik een ijsbeer was.
pi_125821611
Stapel spreekt in de NYTimes
Artikel staat hier
http://www.nytimes.com/20(...)pagewanted=all&_r=2&
In Baden-Badener Badeseen kann man Baden-Badener baden sehen.
pi_125822212
quote:
0s.gif Op vrijdag 26 augustus 2011 00:31 schreef Pietverdriet het volgende:

Ooit zo een triest vooringenomen onderzoek resultaat gelezen?
Triest dit. En dat onderzoeksgeld had ook besteed kunnen worden aan wiegedood, dementie, taaislijmziekte, malaria, etc etc
Een beetje late reactie maar ik begrijp wat je bedoelt maar eerlijkheidshalve kijk ik nergens meer van op te meer je anno 2013 (12 ook wel) teveel voorbeelden ziet en hoort waar elke redelijkheid en vaak ook eerlijkheid/onafhankelijkheid ver te zoeken is.

Ik vind als laatste trouwens om even heel zwaar ergens aan te tillen dat TT met de woorden "Pseudowetenschappers en vleeseters" in 1 zin erg stigmatiserend.

[ Bericht 0% gewijzigd door #ANONIEM op 28-04-2013 10:06:49 ]
abonnement Unibet Coolblue Bitvavo
Forum Opties
Forumhop:
Hop naar:
(afkorting, bv 'KLB')