Wetenschappers op FOK! #16

De "abstracts" voor congressen zijn hier full-papers, tussen de 4 en 12 pagina's (afhankelijk van welk congres). Ronduit kut, want je kunt je conference paper bijna nooit meer kwijt in een journal wegens dubbelpublicatie.

Nou, abstract ingeleverd! Spanning ende sensatie.

quote:

Op vrijdag 21 maart 2014 14:44 schreef motorbloempje het volgende:
Nou, abstract ingeleverd! Spanning ende sensatie.

Redelijke interessante lezing over fraude in de wetenschap:

Hoewel ik het niet eens ben met zijn conclusie dat de wetenschap geen antwoorden moet/mag geven, zegt hij wel rake dingen. Bijvoorbeeld de focus bij publicaties op kwantiteit en niet kwaliteit, het niet publiceren van negatieve resultaten en problemen bij het reproduceren van onderzoek. Het blijft helaas wel een beetje oppervlakkig.

quote:

Op zondag 23 maart 2014 20:27 schreef Felagund het volgende:
Redelijke interessante lezing over fraude in de wetenschap:

Waarom zijn alle wetenschappers fraudeurs? (5/5)

Hoewel ik het niet eens ben met zijn conclusie dat de wetenschap geen antwoorden moet/mag geven, zegt hij wel rake dingen. Bijvoorbeeld de focus bij publicaties op kwantiteit en niet kwaliteit, het niet publiceren van negatieve resultaten en problemen bij het reproduceren van onderzoek. Het blijft helaas wel een beetje oppervlakkig.

Hij was irritant gaaf aan het doen in het begin en zijn Diederik Stapel recap klopte al bij de eerste zin niet, daarna heb ik het gefrustreerd afgezet

quote:

Op zondag 23 maart 2014 20:27 schreef Felagund het volgende:
Redelijke interessante lezing over fraude in de wetenschap:

Waarom zijn alle wetenschappers fraudeurs? (5/5)

Hoewel ik het niet eens ben met zijn conclusie dat de wetenschap geen antwoorden moet/mag geven, zegt hij wel rake dingen. Bijvoorbeeld de focus bij publicaties op kwantiteit en niet kwaliteit, het niet publiceren van negatieve resultaten en problemen bij het reproduceren van onderzoek. Het blijft helaas wel een beetje oppervlakkig.

Net even gekeken.
Wat een vermoeiende kerel is dat zeg. Hij zegt ook weinig nieuws, maar als er in die zaal voornamelijk mensen zitten die niets met een universiteit te maken hebben dan kan ik me voorstellen dat het interessant is.

Vooral bij het stuk over wetenschappers die bij Pauw en Witteman zeggen dat als een experiment soms lukt en soms niet dat "hun hypothese niet geverifieerd is" snapte ik zijn punt niet. Dat niet alle (niet significante) studies worden gepubliceerd klopt, maar met dit voorbeeld is niets mis. Niet significante resultaten bewijzen immers niet dat het tegenovergestelde van de hypothese waar is dus is het logisch dat een wetenschapper zegt dat de hypothese niet geverifieerd is.

Inmiddels zijn er ook journals die focussen op effect sizes in plaats van p-waardes, juist om het hele niet-significante-resultaten-circus te verminderen. Klinkt als een goede zet, al vraag ik me af of dit de publication bias echt gaat verminderen.

Laatste punt is dat ik het niet heel zinvol vond om citaten van Stapel te gebruiken om uit te leggen wat er mis is in de wetenschap en dit te generaliseren naar alle wetenschappers. Het staat ook haaks op zijn opmerking dat je niet zomaar je onderzoeksresultaten kunt generaliseren naar een grotere populatie (met zijn voorbeeld over Amsterdammers interviewen.)

Ik ben van mening dat publicationbias in praktijk (in bepaalde mate) helemaal niet erg is.

quote:

Op zondag 23 maart 2014 22:55 schreef Operc het volgende:

[..]

Net even gekeken.
Wat een vermoeiende kerel is dat zeg. Hij zegt ook weinig nieuws, maar als er in die zaal voornamelijk mensen zitten die niets met een universiteit te maken hebben dan kan ik me voorstellen dat het interessant is.

Vooral bij het stuk over wetenschappers die bij Pauw en Witteman zeggen dat als een experiment soms lukt en soms niet dat "hun hypothese niet geverifieerd is" snapte ik zijn punt niet. Dat niet alle (niet significante) studies worden gepubliceerd klopt, maar met dit voorbeeld is niets mis. Niet significante resultaten bewijzen immers niet dat het tegenovergestelde van de hypothese waar is dus is het logisch dat een wetenschapper zegt dat de hypothese niet geverifieerd is.

Inmiddels zijn er ook journals die focussen op effect sizes in plaats van p-waardes, juist om het hele niet-significante-resultaten-circus te verminderen. Klinkt als een goede zet, al vraag ik me af of dit de publication bias echt gaat verminderen.

Laatste punt is dat ik het niet heel zinvol vond om citaten van Stapel te gebruiken om uit te leggen wat er mis is in de wetenschap en dit te generaliseren naar alle wetenschappers. Het staat ook haaks op zijn opmerking dat je niet zomaar je onderzoeksresultaten kunt generaliseren naar een grotere populatie (met zijn voorbeeld over Amsterdammers interviewen.)

Hij is idd geen held in presentatie geven. Hij komt op het einde ook niet tot een conclusie op zijn stelling die hij in het begin stelt (alle wetenschappers zijn fraudeurs). Waarom hij de fraudeurs bij haalt is mij ook niet heel duidelijk. Maar de discussie i.h.a. lijkt mij nog steeds interessant. Ik vroeg mij ook af of de geschetste problemen afhankelijk zijn van het onderzoeksveld.

Ik snap je tweede punt niet echt. Je kan je (alternatieve) hypothese sowieso niet verifiėren, omdat je bij een statistische test altijd je nullhypothese aanneemt. Het is dus eerder andersom: dat een experiment statistisch significant is wil nog niet zeggen dat je (alternatieve) hypothese waar/aannemelijk is.

Het probleem van de klassieke t-test is dat als je maar genoeg data hebt je ieder futiel verschil significant kan maken. Volgens mij zijn effect sizes vooral bedoeld om dat probleem te verhelpen/voorkomen.

quote:

Op zondag 23 maart 2014 23:40 schreef Felagund het volgende:

[..]

Hij is idd geen held in presentatie geven. Hij komt op het einde ook niet tot een conclusie op zijn stelling die hij in het begin stelt (alle wetenschappers zijn fraudeurs). Waarom hij de fraudeurs bij haalt is mij ook niet heel duidelijk. Maar de discussie i.h.a. lijkt mij nog steeds interessant. Ik vroeg mij ook af of de geschetste problemen afhankelijk zijn van het onderzoeksveld.

Ik snap je tweede punt niet echt. Je kan je (alternatieve) hypothese sowieso niet verifiėren, omdat je bij een statistische test altijd je nullhypothese aanneemt. Het is dus eerder andersom: dat een experiment statistisch significant is wil nog niet zeggen dat je (alternatieve) hypothese waar/aannemelijk is.

Het probleem van de klassieke t-test is dat als je maar genoeg data hebt je ieder futiel verschil significant kan maken. Volgens mij zijn effect sizes vooral bedoeld om dat probleem te verhelpen/voorkomen.

effect sizes helpen daar an sich weinig bij. een d van .01 kan superbelangrijk zijn of er totaal niet toe doen.

verbetering van behandeling tegen kanker? fantastisch
verhoging schoolprestaties na investering 10k per student? waardeloos

quote:

Op zondag 23 maart 2014 23:47 schreef oompaloompa het volgende:

[..]

effect sizes helpen daar an sich weinig bij. een d van .01 kan superbelangrijk zijn of er totaal niet toe doen.

verbetering van behandeling tegen kanker? fantastisch
verhoging schoolprestaties na investering 10k per student? waardeloos

Dat gaat meer om de maatschappelijke relevantie van het resultaat. Daar kun je sowieso statistisch weinig over zeggen.

quote:

Op zondag 23 maart 2014 23:53 schreef Felagund het volgende:

[..]

Dat gaat meer om de maatschappelijke relevantie van het resultaat. Daar kun je sowieso statistisch weinig over zeggen.

als je stelling is dat elk futiel verschil vanzelf statistisch significant is geef je aan dat statistische significantie dus niet iets is waar je het op wilt beoordelen, de andere opties zijn al snel maatschappelijk of theoretisch, allebei zijn niet per se afhankelijk van de effect size dus effect size an sich kan nooit de oplossing voor dat probleem zijn.

of ik mis een ander criterium natuurlijk maar ik kom niet echt verder dan die twee :p

quote:

Op zondag 23 maart 2014 23:56 schreef oompaloompa het volgende:

[..]

als je stelling is dat elk futiel verschil vanzelf statistisch significant is geef je aan dat statistische significantie dus niet iets is waar je het op wilt beoordelen, de andere opties zijn al snel maatschappelijk of theoretisch, allebei zijn niet per se afhankelijk van de effect size dus effect size an sich kan nooit de oplossing voor dat probleem zijn.

Nee, mijn stelling was dat je een futiel verschil significant kan maken door de sample size te vergroten. Dus d=0.0000001 is ook significant te maken. Als je maar genoeg data hebt. Statistische significantie is dus afhankelijk van de grootte van je sample, effect sizes geven duidelijker een verschil hoe groot het verschil nu echt is (in verhouding tot de variantie). Meer heb ik niet gezegd.

quote:

Op maandag 24 maart 2014 00:00 schreef Felagund het volgende:

[..]

Nee, mijn stelling was dat je een futiel verschil significant kan maken door de sample size te vergroten. Dus d=0.0000001 is ook significant te maken. Als je maar genoeg data hebt. Statistische significantie is dus afhankelijk van de grootte van je sample, effect sizes geven duidelijker een verschil hoe groot het verschil nu echt is (in verhouding tot de variantie). Meer heb ik niet gezegd.

Maar waarom is dat dan een probleem?

quote:

Op maandag 24 maart 2014 00:00 schreef oompaloompa het volgende:

[..]

Maar waarom is dat dan een probleem?

Omdat het verschil tussen d=2.00 en d=0.01 vrij groot is? Een t-test geeft je die informatie niet, je p-value is ook afhankelijk van de grootte van je sample.

quote:

Op maandag 24 maart 2014 00:24 schreef Felagund het volgende:

[..]

Omdat het verschil tussen d=2.00 en d=0.01 vrij groot is? Een t-test geeft je die informatie niet, je p-value is ook afhankelijk van de grootte van je sample.

Misschien praten we helemaal langs elkaar heen / heb ik je totaal verkeerd begrepen, maar daar is een p-waarde ook niet voor. Dus ik snap niet zo goed dat je zegt dat het een probleem is dat iets iets niet doet waar het sowieso niet voor bedoeld is. Maar als dat het probleem is dan is effect-size inderdaad een oplossing omdat dat daar wel voor bedoeld is.

Overigens heb ik de video toch maar afgekeken en vond ik het erg slecht. Voor de leek omdat hij niet uitlegt hoe wetenschap werkt en er dan maar vanuit gaat dat men begrijpt hoe de dingen die hij zegt geinterpreteerd moeten worden. Daarnaast omdat hij dingen roept die abstract heel leuk klinken maar praktiscyh niet mogelijk zijn. Daarnaast dat hij de hele tijd Stapel gebruikt om dingen te illustreren en dat eigenlijk vrijwel de hele tijd fout doet, en als laatste dat hij de titel van zijn hele praatje niet onderbouwd heeft.

[ Bericht 22% gewijzigd door oompaloompa op 24-03-2014 00:34:42 ]

quote:

Op maandag 24 maart 2014 00:28 schreef oompaloompa het volgende:

[..]

Misschien praten we helemaal langs elkaar heen / heb ik je totaal verkeerd begrepen, maar daar is een p-waarde ook niet voor. Dus ik snap niet zo goed dat je zegt dat het een probleem is dat iets iets niet doet waar het sowieso niet voor bedoeld is. Maar als dat het probleem is dan is effect-size inderdaad een oplossing omdat dat daar wel voor bedoeld is.

Ik bedoelde idd niet direct de p-waarde, maar of je een significant resultaat krijgt. Dat is afhankelijk van hoeveel datapunten je hebt. Dus als je maar vaak genoeg meet kun je ieder resultaat significant krijgen. Oorspronkelijk was de t-test bedoeld om een verschil in gemiddelde aan te tonen. Een t-test zegt niet hoe groot dat verschil is. Het verschil in gemiddelde bij een significant resultaat (zeg met p=0.05) is kleiner naarmate je meer datapunten hebt. Het gevaar zit er dus bij een grote sample in dat bij een significant verschil dat je kan denken dat het verschil ook groot moet zijn. Terwijl dit helemaal niet hoeft te zijn.

Maar nu volg ik jou niet meer.

quote:

Op maandag 24 maart 2014 00:37 schreef Felagund het volgende:

[..]

Ik bedoelde idd niet direct de p-waarde, maar of je een significant resultaat krijgt. Dat is afhankelijk van hoeveel datapunten je hebt. Dus als je maar vaak genoeg meet kun je ieder resultaat significant krijgen. Oorspronkelijk was de t-test bedoeld om een verschil in gemiddelde aan te tonen. Een t-test zegt niet hoe groot dat verschil is. Het verschil in gemiddelde bij een significant resultaat (zeg met p=0.05) is kleiner naarmate je meer datapunten hebt. Het gevaar zit er dus bij een grote sample in dat bij een significant verschil dat je kan denken dat het verschil ook groot moet zijn. Terwijl dit helemaal niet hoeft te zijn.

Maar nu volg ik jou niet meer.

We praten langs elkaar heen

Een t-test is niet echt bedoel om een verschil in gemiddelden aan te geven maar om aan te geven of het waarschijnlijk is zo'n verschil tussen groepen steekproeven te vinden als ze in de werkelijkheid niet verschillen. Een p-value is vrijwel hetzelfde maar ipv sig / ns geeft de p-waarde de kans aan zulke verschillen of groter tussen steekproeven te vinden als de groepen in de werkelijkheid niet verschillen.

De maten zijn dus niet bedoeld om de grootte van het verschil aan te geven, daar zijn effect sizes voor.

het is dus een beetje vreemd om te zeggen dat een probleem van p-waardes / t-toetsen is dat ze niet aangeven hoe groot een effect is omdat ze daar nooit voor bedoeld waren

Maar dit is nogal semantisch geneuzel en volgens mij zijn we het eigenlijk helemaal eens

quote:

Op maandag 24 maart 2014 00:44 schreef oompaloompa het volgende:

[..]

We praten langs elkaar heen

Een t-test is niet echt bedoel om een verschil in gemiddelden aan te geven maar om aan te geven of het waarschijnlijk is zo'n verschil tussen groepen steekproeven te vinden als ze in de werkelijkheid niet verschillen. Een p-value is vrijwel hetzelfde maar ipv sig / ns geeft de p-waarde de kans aan zulke verschillen of groter tussen steekproeven te vinden als de groepen in de werkelijkheid niet verschillen.

De maten zijn dus niet bedoeld om de grootte van het verschil aan te geven, daar zijn effect sizes voor.

het is dus een beetje vreemd om te zeggen dat een probleem van p-waardes / t-toetsen is dat ze niet aangeven hoe groot een effect is omdat ze daar nooit voor bedoeld waren

Maar dit is nogal semantisch geneuzel en volgens mij zijn we het eigenlijk helemaal eens

Volgens mij zijn we het idd eens, het probleem is misschien meer dat t-testen vaak misbruikt worden om een groot verschil aan te duiden. Terwijl een t-test daar dus niets over zegt. Dat is wel vrij problematisch. Zeker in mijn vakgebied, waar effect sizes nog niet echt (veel) gebruikt worden.

Het mag dan een semantisch geneuzel zijn, het correct gebruik en interpretatie van statistiek is wel belangrijk vind ik.

quote:

Op maandag 24 maart 2014 00:53 schreef Felagund het volgende:

[..]

Volgens mij zijn we het idd eens, het probleem is misschien meer dat t-testen vaak misbruikt worden om een groot verschil aan te duiden. Terwijl een t-test daar dus niets over zegt. Dat is wel vrij problematisch. Zeker in mijn vakgebied, waar effect sizes nog niet echt (veel) gebruikt worden.

Het mag dan een semantisch geneuzel zijn, het correct gebruik en interpretatie van statistiek is wel belangrijk vind ik.

yeap,

dus het probleem is niet dat een t-test niet aangeeft hoe groot het verschil is, maar dat mensen denken dat het dat wel doet

Wat is je veld?

Mijn grootste misverstand in statistiek ergernis is dat mensen b.v. p = .03 interpreteren als "dus 3% kans dat het een false positive is".

Waar ik me altijd aan erger bij zulk soort praatjes - ik heb dit praatje nog geen 30 seconden volgehouden - is de enorme onderschatting van wetenschappers. Elke student bij ons op de opleiding leert dat theorie vooraf gaat aan empirie, dat je dus start met hypotheses die theoretisch gemotiveerd zijn en dat de data zelf niet als leidinggevend worden gezien.

Ook leren ze dat je gevonden resultaten probeert in te bedden in wat we al weten uit (soortgelijk) onderzoek. Daar komt een hoop denkwerk bij kijken dat losstaat van de statistiek en waar bovendien vaak een replicerende factor in zit. Zelden is een studie bij ons een exacte replicatie van voorgaand onderzoek, maar diverse elementen komen wel vaker terug. Door gegevens over je onderzoek te delen (over je sample, je meetinstrument, je analysemethodes) kunnen anderen beredeneren waarom ze bijvoorbeeld andere resultaten hebben behaald.

Je hoeft dus geen perfect onderzoek te doen. Dat bestaat niet. Je moet je aan bepaalde basisregels houden, goed nadenken bij wat je doet en zoveel mogelijk relevante informatie over de onderzoekomstandigheden delen. Ik vind dat laatste denk ik relevanter dan datasets zelf delen, wat nu in zwang lijkt te komen.

quote:

Op zondag 23 maart 2014 23:40 schreef Felagund het volgende:

[..]

Hij is idd geen held in presentatie geven.

Hij lijkt het expres te doen om een beetje tof over te komen, maar doet mij vooral denken aan een cabaretier die vergeten is grappen in zijn praatje te verwerken.

quote:

Ik snap je tweede punt niet echt. Je kan je (alternatieve) hypothese sowieso niet verifiėren, omdat je bij een statistische test altijd je nullhypothese aanneemt. Het is dus eerder andersom: dat een experiment statistisch significant is wil nog niet zeggen dat je (alternatieve) hypothese waar/aannemelijk is.

Ik zal proberen het wat te verduidelijken: Bij een p-waarde van kleiner dan .05 wordt de nulhtpothese verworpen en de alternatieve hypthese (doorgaans dat er een verschil is tussen de groepen) aangenomen. Als de p-waarde groter of gelijk aan .05 is, wordt de nulhypothese behouden. Net zoals een verworpen nulhypothese geen garantie geeft dat de nulhyothese fout is en de alternatieve hypothese waar is, zo geeft een behouden nulhypothese geen garantie dat deze waar is en dat de alternatieve hypothese fout is. Dus op het moment dat de nulhypothese niet wordt verworpen, dan heb je geen uitsluitsel waar dat nu precies aan ligt (een van de redenen waarom niet-significante resultaten moeilijk publiceerbaar zijn.)

Dat een wetenschapper bij Pauw en Witteman vervolgens zegt dat hun hypothese (niet de statistische hypothese, maar de onderzoekshypothese) dus niet geverifieerd is klopt en als ze het zouden hebben over "dat de nulhypothese niet verworpen is" dan snapt half Nederland niet meer waar het over gaat. In de media is het makkelijker om het te hebben over bewijs voor je hypothese dan bewijs tegen de andere hypothese. De wetenschapper (in zijn voorbeeld) geeft netjes aan dat zijn experimenten geen (eenduidig) bewijs leveren voor zijn stelling. Wat hij er dus precies mee wilde zeggen was mij niet duidelijk.

quote:

Het probleem van de klassieke t-test is dat als je maar genoeg data hebt je ieder futiel verschil significant kan maken. Volgens mij zijn effect sizes vooral bedoeld om dat probleem te verhelpen/voorkomen.

Klopt, alleen wordt door het 95% betrouwbaarheidsinterval meteen zichtbaar of het effect volgens alfa =.05 significant is. Het niet rapporteren van de p-waarde voegt dus weinig toe omdat je het aan het betrouwbaarheidsinterval al kunt aflezen. Ik vraag me daarom af hoe reviewers omgaan met de verschuiving naar "alleen effect sizes rapporteren."

Yay! Eerste posterpresentatie binnen!

Nu nog even een vrijwilligerspost op een conferentie binnen proberen te hengelen vandaag waarmee ik gratis toegang en onkosten en dergelijken krijg en m'n planning voor de komende 6 maanden af maken. Eitje!

Ik heb ook m'n eerste abstract ingeleverd. Ik verwacht pas eind mei/begin juni te horen of hij geaccepteerd is voor een posterpresentatie of iets dergelijks.

quote:

Op zondag 23 maart 2014 20:27 schreef Felagund het volgende:
Redelijke interessante lezing over fraude in de wetenschap:

Waarom zijn alle wetenschappers fraudeurs? (5/5)

Grappig hoe serieus jullie reageren op dit filmpje. Ik zie het veel meer als een column, waarbij hij gaaf doet voor de coole online university van Alexander Clubbing.. Gewoon ff door de vorm heen kijken. Hij zegt idd niet zoveel nieuws maar het blijft wel goed om attent te blijven op de druk om gewenste onderzoeken en resultaten te produceren.