'Veel psychologische studies niet reproduceerbaar'

Ook in mijn betahoek is er veel te weinig quantitatief onderzoek. Het is namelijk een stuk lastiger om getallen te hangen aan observaties, dan maar wat te blaten. En wetenschappers vinden het heerlijk om maar wat te blaten. Show and tell: je laat een plaatje zien die je met een nieuwe opstelling hebt gemaakt, het liefst een plaatje met leuke kleuren er in, en daar lul je dan wat over. Het rare is dat veel toponderzoekers er nog mee weg komen ook.

Ik had een promovendus die van een groep met een hoge show and tell reputatie kwam (let wel, top 25% onderzoeksgroep), waar hij zijn Masters had gedaan. Zijn promotieopdracht behelsde een best wel complex meetapparaat.Uiteindelijk had hij iets dat eigenlijk best wel aardig werkte. Maar eigenlijk werkte het ook weer niet. Wat hij ook deed, het lukte hem niet om in de buurt van de theorie te komen.

Dat zal mij verder een zorg zijn, zo lang je maar weet hoe betrouwbaar je metingen zijn. Dat is te kwantificeren. Doe dat, en schrijf er een artikel over. Maar de promovendus in kwestie werd er helemaal naar van, dat het apparaat niet werkte zoals het zou moeten werken, en na een lastige zomer is hij naar een ander lab gegaan. Ik zou dit niet als voorbeeld willen geven van hoe belangrijk het is om studenten op te laten groeien met het idee dat wetenschap om quantificeren draait (spaghettizinnen, Lyrebird?), maar het lijkt me wel erg lastig als je uit een show and tell wereldje komt, dat het dan lastiger is om je draait te vinden in de harde wetenschappen.

Ja het belang van mooie plaatjes blijkt ook in dit topic weer, als psychologen negatief worden vergeleken met neurologen. Als er een wetenschappelijk vakgebied is waar het vooral veel conjecture is maar ze puur methodologisch niet zo goed weten wat ze doen, is het de mooie plaatjes uit de neurowetenschappen wel.

Dat show and tell is vooral een beetje ingenieurs-eigen toch? Ik word altijd een beetje kriegelig als promovendi een proefontwerp willen doen, ik ben er nog niet achter hoe je daar dezelfde wetenschappelijke standaarden aan kunt hangen als een klassiek proefschrift. Het gaat uit van de intrinsieke nauwgezetheid van de kandidaat (vandaar ook dat ingenieurs vroeger de weledelgestrenge titel kregen waarschijnlijk), en daar moet je dan maar op vertrouwen; maar sommige van mijn promovendi zou ik nog niet met een lijmpistool vertrouwen.

quote:

Op dinsdag 1 september 2015 07:58 schreef speknek het volgende:
Dat show and tell is vooral een beetje ingenieurs-eigen toch?

Ben bang van wel, terwijl het nergens voor nodig is. Want ingenieurs zijn er een meester in om te meten, om getallen aan waarnemingen te hangen, en te quantificeren hoe betrouwbaar die getallen zijn. Vooral dat laatste is een stokpaardje van mij, maar ik lijk een roepende in de woestijn.

Verder kost wat kruim, alles netjes meten en analyseren, en als je andere wetenschappers in hetzelfde vakgebied opgehemeld ziet worden na een show and tell presentatie, dan kan de verleiding groot zijn om hetzelfde te doen.

quote:

Ik word altijd een beetje kriegelig als promovendi een proefontwerp willen doen, ik ben er nog niet achter hoe je daar dezelfde wetenschappelijke standaarden aan kunt hangen als een klassiek proefschrift. Het gaat uit van de intrinsieke nauwgezetheid van de kandidaat (vandaar ook dat ingenieurs vroeger de weledelgestrenge titel kregen waarschijnlijk), en daar moet je dan maar op vertrouwen; maar sommige van mijn promovendi zou ik nog niet met een lijmpistool vertrouwen.

Tja, we kunnen een topic vollullen over de kwaliteit van promovendi. Maar ik was zelf ook geen ster (heb nog steeds zwakke plekken), maar dit is toch een vak waar je in groeit, als je wil en mag groeien. Niet vertrouwen met een lijmpistool, die is wel mooi.

Op dit moment heb ik een promovendus die is opgegroeid in een hut met twee koeien. Zijn ouders verbouwen nog steeds pinda's, hebben geen noemenswaardige opleiding gehad, en in zijn dorp hebben ze alleen 's nachts electriciteit. Om te poepen moeten ze twintig minuten lopen. Hij heeft de theoretische kennis, maar kan die theorie niet in iets praktisch omzetten, omdat hij dat nooit heeft geleerd. Van de andere kant heeft hij een enorme drang om er iets van te maken, en dat is iets wat je niemand aan kunt leren, dat moet je hebben. Dus ik heb goede hoop dat het nog goed komt.

Als mensen willen leren en geen bord voor hun kop hebben, dan kunnen ze heel ver komen, ook als er niet eens zo veel talent is, of de processor niet zo snel draait.

Over dat ingenieurs-eigen zijn.. nu ik er over nadenk heb ik al van meerdere onderzoekers van Nederlandse universiteiten gehoord hoe er over het wetenschappelijke niveau van de Technische Universiteiten wordt gedacht. Dat is niet best. Het rare is dat je daar in het buitenland nooit iets van hoort. Delft (met name Delft), Eindhoven en Twente staan in de buitenlandse wandelgangen hoog aangeschreven.

quote:

Op zondag 30 augustus 2015 20:12 schreef Bram_van_Loon het volgende:

[..]

Daar ben ik het in bepaalde gevallen ook mee eens. Het getuigt niet van intelligentie als je moeite hebt om een paar simpele regeltjes over het vervoegen te leren.

Te arrogant gedrag is mij betreft voldoende grond om mensen van de universiteit te verwijderen.

quote:

Op dinsdag 1 september 2015 09:07 schreef Lyrebird het volgende:
Over dat ingenieurs-eigen zijn.. nu ik er over nadenk heb ik al van meerdere onderzoekers van Nederlandse universiteiten gehoord hoe er over het wetenschappelijke niveau van de Technische Universiteiten wordt gedacht. Dat is niet best. Het rare is dat je daar in het buitenland nooit iets van hoort. Delft (met name Delft), Eindhoven en Twente staan in de buitenlandse wandelgangen hoog aangeschreven.

Dit terwijl het een vakgebied is waarin mensen in de eigen gemeenschap keihard worden afgerekend op hun prestaties, je kan bij exacte wetenschap en toegepaste wetenschap weinig verbloemen met mooie verhaaltjes. Als ze in het buitenland wel een hoge dunk hebben dan mag je ervan uitgaan dat dat terecht is. Zijn die betreffende onderzoekers van Nederlandse universiteiten afgunstig? Ik kan me trouwens wel voorstellen dat iemand die een vijfjarige wiskunde- of natuurkundeopleiding heeft gevolgd aan een algemene universiteit het een slechte zaak vindt dat ze aan de TU projecten doen in plaats van topologische algebra of snaartheorie te leren maar buiten dat snap ik niet waar zulke kritiek op is gebaseerd. Het is nu niet dat ze aan de niet-technische universiteiten enig verstand hebben van elektro, werktuigkunde, industriële chemie etc.
Ieder zijn vak.

quote:

Het rare is dat je daar in het buitenland nooit iets van hoort. Delft (met name Delft), Eindhoven en Twente staan in de buitenlandse wandelgangen hoog aangeschreven.

Het hangt van het vakgebied af welke het hoogst staat aangeschreven. Delft heeft het voordeel de grootste te zijn, het staat op meer vakgebieden hoog aangeschreven dan de andere twee. Voor elektro en informatica (een van de beste vakgroepen in Europa qua publicaties) staat Eindhoven volgens mij hoger aangeschreven.

[ Bericht 7% gewijzigd door Bram_van_Loon op 01-09-2015 11:11:24 ]

quote:

Op dinsdag 1 september 2015 11:06 schreef Bram_van_Loon het volgende:
Ieder zijn vak.

Zo is dat.

Het idee dat talent eenduidig is (heb je het kun je alles, heb je het niet kun je niets) is onjuist. Heel wat beroemde natuurkundige theoretici hebben ooit een paar jaar experimenteel werk gedaan en zijn met hun staart tussen de benen vertrokken. Zo groot is blijkbaar het verschil. Theoretici zijn niet gewend om aan te nemen dat een apparaat werkt (als een black box), zeker niet als de experimentele opstelling het regelmatig begeeft en je de meeste tijd bezig bent om de boel aan de praat te houden.

Omgekeerd weten veel experimentele natuurkundigen niet zo goed hoe de theorie in elkaar steekt. Ze nemen formules voor waar aan zonder de achterliggende theorie, logica en aannames te kennen.

Wiskundigen vinden dat natuurkundigen de wiskunde vooral gebruiken om te rekenen (veredeld rekenen). Wiskundigen missen dan weer de nodige natuurkundige intuitie om binnen de natuurkunde goed uit de voeten te kunnen.

Bij de grote omwentelingen in de natuurkunde, waarbij het hele kader op de schop gaat, spelen de meer filosofisch aangelegde fysici een hoofdrol (zoals Einstein en Bohr).

Het hele spectrum van instrument makers, experimentele fysici, theoretische fysici, wiskundigen en filosofen is nodig voor de ontwikkeling van de natuurkunde. Het geheel te teveel omvattend voor één mens om het de baas te worden, en maar weinigen voelen zich thuis in alle deelaspecten.

Voor de wetenschap als geheel geldt dat nog meer.

[ Bericht 0% gewijzigd door deelnemer op 01-09-2015 12:15:31 ]

quote:

Op dinsdag 1 september 2015 11:06 schreef Bram_van_Loon het volgende:
Ieder zijn vak.

Doodsteek voor dit topic. Het hele probleem is dat mensen vanaf hun eigen vierkante centimeter (binnen hun eigen afgebakende vakgebied) ook dolgraag wat te zeggen willen hebben hoe anderen het (minder goed) doen.

Dat levert wat bizarre maar ook wat lichtelijk autistische verhalen op. Het is al bijna een wetenschap op zich om te zien hoe wetenschappers onderling op elkaar reageren.

quote:

Op maandag 31 augustus 2015 21:05 schreef Igen het volgende:
Een van de 'wetenschappelijke' artikelen die we moesten lezen had letterlijk en expliciet als onderzoeksmethode dat de onderzoeker ergens door een stad in Engeland was gewandeld en met wat mensen in bepaalde wijken op straat een praatje had gemaakt, en dat zou dan het wetenschappelijke bewijs moeten zijn dat de politiek alleen maar aan prestigeprojecten deed en geen oog heeft voor de simpele arbeider en dat er dus objectief en wetenschappelijk gezien meer behoefte is aan linkse politiek. Of zoiets. Dat is toch geen wetenschap man.

Dat type onderzoek heb ik ook veel gedaan veelal in opdracht van een bekend sociaal-wetenschappelijk onderzoeksinstituut. De meest pragmatische manier om de 'kwalitatieve" kant van het verhaal te verzamelen als je benieuwd bent naar de impact van fysieke ingrepen op de ruimtelijke omgeving / maatschappij. Gewoon met mensen gaan praten en vragen wat zij eigenlijk vinden van het voor 10 miljoen vernieuwde plein (zonder extra fietsenstalling). Dat gecombineerd met de beschikbare cijfers (over verhoogde mobiliteit of daling van ongelukken) geeft wel een mooi beeld van hoe positief / negatief een bepaalde ruimtelijke ontwikkeling is op de samenleving. Kan rekening mee gehouden, of niet.

De gevolgtrekkingen uit dergelijk onderzoek kennen per definitie een politiek tintje. Ruimtelijke ordening is het domein van de (lokale) politiek. En de wenselijkheid van de impact daarvan is altijd aan een subjectief waardeoordeel onderhevig. Veel onderzoekers hebben de neiging om al een beetje op de stoel van het bestuur te gaan zitten door in hun conclusies duidelijke aanbevelingen te doen ("dit nooit weer"). De vraag is natuurlijk in hoeverre dat schadelijk is voor het onderzoek zelf. Soms heb je die prikkelende aanbevelingen ook nodig om het onderzoek überhaupt op de agenda te zetten.

quote:

Op dinsdag 1 september 2015 11:06 schreef Bram_van_Loon het volgende:
Zijn die betreffende onderzoekers van Nederlandse universiteiten afgunstig?

Ik weet het niet. Het is denk ik iets Nederlands. Afgeven op mensen/groepen die anders zijn. Dat zie je in het buitenland ook wel, maar anders.

Mijn indruk is trouwens wel dat onderzoekers van bijvoorbeeld Utrecht echt goed zijn (waren?). Daar heeft een lange tijd een groep gezeten die soortgelijk onderzoek deden als wij nu doen, en die waren hun tijd zo'n 20 jaar vooruit.

Het ging in dat geval trouwens om onderzoekers van voor de Mamoetwet.

quote:

Op dinsdag 1 september 2015 12:17 schreef Igen het volgende:

[..]

Het is maar de vraag of het een mooi beeld geeft. Als de onderzoeker bijv. op een doordeweekse dag gaat kijken en wat bangig is om hangjongeren etc. aan te spreken (in het betreffende artikel stond daar bijv. niet echt duidelijk wat over vermeld), dan heb je eigenlijk alleen werklozen en huisvrouwen geinterviewd en is de steekproef dus allesbehalve representatief en allesbehalve generaliseerbaar. Vandaar dat ik het geen wetenschap vind.

Hoewel een dergelijke fout wel heel knullig zou zijn (daar kan in de opdracht al rekening mee gehouden worden), is de beperkte (of totaal afwezige) representatieviteit natuurlijk een kenmerk van kwalititatief onderzoek. Vanwege de beperkingen in de steekproef (het zijn er praktisch altijd te weinig en niet a-select) krijg je nooit een representatief beeld van "de buurtbewoner". Als het goed is pretendeert geen enkele onderzoeker ook een representatief beeld te willen schetsen.

Kwalitatief onderzoek staat dan ook haaks op een positivistische wijze van wetenschap bedrijven. Vanuit dat perspectief gezien is het inderdaad geen wetenschap wat bedreven wordt. Toch kan kwalitatief onderzoek wel fatsoenlijk worden uitgevoerd en aan allerlei wetenschappelijke vereisten voldoen. Bij de interpretatie van de gegevens moet alleen rekening gehouden worden met dat het slechts een beperkte kijk op de werkelijkheid is. Dat lijkt een zwakte, maar daar kan juist goed mee rekening gehouden worden bij het schrijven van een goed onderbouwd en gestructureerd wetenschappelijk betoog. Juist dat bewustzijn maakt dergelijk onderzoek veelal waardevoller dan onderzoeken die pretenderen de enige en echte waarheid in pacht te hebben.

quote:

Op dinsdag 1 september 2015 12:34 schreef Ser_Ciappelletto het volgende:
Ze proberen hun testgroepen tegenwoordig ook meer te diversificeren, maar je zult begrijpen dat het erg moeilijk is om bijvoorbeeld de working poor na hun werkdag van 16 uur nog warm te krijgen voor zo'n onderzoek.

Niet echt. De working poor vormt een belangrijk deel van mijn onderzoekspopulatie. Geef ze een onkostenvergoeding en ze komen met busjes tegelijkertijd (volledig representatief en wel) opdraven. Of een persoon mee doet aan een onderzoekje voor de lol, voor de wetenschap of voor een paar tientjes doet er verder niet veel toe.

Dergelijke problematiek zou trouwens geen excuus mogen zijn voor slecht onderzoek. Tal van bureaus zijn gespecialiseerd in het aanleveren van representatieve doelgroepen. Dat is een vak apart en daar mag je best gebruik van maken.

quote:

Op dinsdag 1 september 2015 12:47 schreef Ser_Ciappelletto het volgende:

[..]

Niet iedereen heeft genoeg budget om die mensen te belonen of om die bureau's in te huren. Zeker niet als je relatief veel mensen nodig denkt te hebben of als de tests veel tijd kosten.

Ja, dan hebben we het over studentenonderzoek. Dat studenten andere studenten als proefkonijn gebruiken gebeurt al sinds de Romeinse tijd. Persoonlijk vind ik het zelf ook geen wenselijke ontwikkeling dat studenten (zonder graad) al extern gaan werven aangezien dat de bereidwilligheid ondermijnt (zie de shitload aan enquêtes alleen al op dit forum van studenten). Al die crappy onderzoeken kunnen wij missen als kiespijn.

Een psycholoog die volwaardig onderzoek wil doen moet in zijn project gewoon budget vrijmaken voor fatsoenlijke werving en dit het liefst ook uitbesteden aan een externe, onafhankelijke partij. Die bij zijn selectie rekening houdt met alle vereisten die bij onderzoek komen kijken en die ook gecertificeerd zijn. Als je dat budget niet hebt (want duur, duur, duur) ga dan lekker vakkenvullen bij de AH totdat het geld wel op tafel is. Ik weet dat de meeste psychologen daar ook budget voor reserveren. Maar je hebt natuurlijk altijd nog Diederik Stapel die het zelf deed.

Wanneer je de steekproef op orde hebt (dankzij fatsoenlijke werving & selectie) stijgt de kwaliteit van het onderzoek ook al aanzienlijk. Als men het onderzoek niet kan betalen, doe het dan gewoon lekker niet.

quote:

Op zondag 30 augustus 2015 15:48 schreef Bram_van_Loon het volgende:

[..]

Jouw punt is dat als diezelfde mensen op een jongere leeftijd - waarop er meer vorming mogelijk is, zeker op dat vlak - wat harder aan de wiskundekar trekken dat ze dan bij hun onderzoek beter werk kunnen leveren dankzij die basis? Het zal in veel gevallen wel helpen, in alle eerlijkheid is er ook veel onderzoekswerk waarbij het geen rol speelt maar desalniettemin zou ik het prima vinden als wiskunde B en D een vereiste zijn om aan een universiteit te mogen studeren. Het ruimt lekker op, het onderwijs kan weer kleinschaliger worden.

Om terug te komen. Ik denk dat wiskunde goed is voor je algemene vorming en dat je dat terug zal zien in hoe je onderzoek doet. Maar de wiskunde die ik in gedachten heb, gaat meer in de richting van het bewijzen van stellingen (binnen wat abstractere wiskunde). Je kunt overigens het stapsgewijs argumenteren ook met filosofie of Nederlands leren (vanuit een stelsel aan axioma's en regels). Dus het was eigenlijk een gemene opmerking van mij richting mensen die slecht zijn met wiskunde. (Alhoewel ik nog een keer wil benadrukken, dat wiskunde de volgende stap is om betere theorieën te maken binnen Bètawetenschappen)

quote:

Op dinsdag 1 september 2015 12:59 schreef Ser_Ciappelletto het volgende:
Het gaat ook over PhD-studenten. Hier krijgen ze geen cent van de unief. Ze worden volledig betaald uit beurzen, die eigenlijk bedoeld zijn om (onder meer) te investeren in werving van testpersonen. Simpelweg onderzoek niet uitvoeren is in veel gevallen geen optie, niet als je een PhD wilt krijgen en niet als je al professor bent, onder meer door publish or perish.

Ik weet natuurlijk dat het per universiteit verschillend is, maar ik kan mij niet voorstellen dat geen aparte onderzoeksbudgetten beschikbaar zijn. Universiteiten moeten toch als geen ander weten wat dataverzameling aan kosten met zich meebrengt? Hoe kan je een Phd-vacature openstellen als je geen budget hebt om het bijbehorende onderzoek te betalen? Het is toch ook bij uitstek de taak van de hoogleraar om daar geld voor te gaan regelen?

Ik snap natuurlijk ook wel dat als iemand een Phd-positie heeft gekregen o.g.v een voorstel dat theoretisch - literatuur onderzoek behelst dat het dan even schrikken is als er om 50k aan onderzoeksbudget gevraagd wordt om een serie aan onderzoeken te bekostigen. Maar over het algemeen kan je (zeker binnen de gamma wetenschappen) van te voren donders goed inschatten welke data iemand nodig heeft en hoeveel (tijd of geld) het kost om die te verzamelen.

Veldwerk is gewoon duur, zelfs als je je eigen metingen doet en alles zoveel mogelijk uitbesteed aan werkstudenten, student-assistenten en andere goedkope lui. Dat is echter nog steeds geen excuus om je onderzoek te vernaggelen door je steekproef (praktisch bewust) te vervuilen.

quote:

Op dinsdag 1 september 2015 13:36 schreef Ser_Ciappelletto het volgende:

[..]

De faculteit hier is zo goed als bankroet. Omdat ze niet met geld om kunnen gaan en omdat niemand wil investeren, 'want het is toch allemaal onzin die nooit zal renderen'.

Als wetenschappelijke zuiverheid en geld botsen, dan wint dat laatste helaas vrijwel altijd.

Deels is dat natuurlijk ook terecht. Ik erger mij al geruime tijd aan de manier hoe sommige faculteiten met geld omgaan (men verwacht dat ze het maar gewoon krijgen) en hoe weinig ondernemend ze zijn ingesteld. Laatst kwam er ook weer een wereldvreemd stuk voorbij van mijn favo SP'er Jasper van Dijk:

http://www.joop.nl/opinie(...)dat_is_een_probleem/

quote:

Dit soort ‘wetenschap op bestelling’ is schadelijk. Bedrijven willen toegepast onderzoek op korte termijn, terwijl juist fundamenteel onderzoek op de lange termijn leidt tot belangrijke ontdekkingen. Van de 88 belangrijkste uitvindingen tussen 1971 en 2006 zijn 77 mogelijk gemaakt door publiek gefinancierd onderzoek. De meest radicale en revolutionaire uitvindingen – van spoorwegen tot het internet tot nanotechnologie - zijn tot stand gekomen met steun van de overheid.
[..]

Wij pleiten voor een herwaardering van het onafhankelijk onderzoek. Dat betekent investeren in de eerste geldstroom. Onderzoekers krijgen dan meer ruimte voor vrij onderzoek en hoeven zich niet meer aan externe geldschieters te onderwerpen. Investeren bedrijven in onderzoek, dan gaat dit geld naar een onafhankelijk fonds, zodat beïnvloeding wordt voorkomen. In plaats van wetenschap op bestelling, geven we ruim baan aan ongebonden wetenschap.

Zijn tendens: onderzoek uitvoeren in opdracht is het werk van Satan en de overheid dient oneindig veel geld vrij te maken voor "ongebonden fundamenteel onderzoek". Het luilekkerland van elke wetenschapper.

Dit is precies de reden waarom je NOOIT een SP'er in je universiteit/faculteit bestuur zou moeten willen en waarom de faculteiten waar deze lui oververtegenwoordigd zijn ook in een storten van de financiële ellende.

Er is niets mis mee om verantwoord onderzoek te doen in opdracht. Je kan daar mooie resultaten mee draaien en met dat geld weer fundamenteel onderzoek bekostigen. Het is de verantwoordelijk en ook de taak van de hoogleraar om dit te doen en goed voor zijn wetenschappelijke kudde te zorgen. De enige reden waarom sommige wetenschappers afgeven op commercieel onderzoek is omdat zij afgunstig zijn op de budgetten die daarbij komen kijken en weten dat zij met hun hobby daar geen aanspraak op kunnen maken.

Het perverse gevolg is dus dat hoogleraren hun promovendi "in de naam der zuivere wetenschap" onderzoeken laten draaien voor een appel en een ei en geen enkele interesse hebben in de gevolgen die dergelijk budget onderzoek met zich meebrengen. Had dan maar een Phd-vacature minder opengesteld.

De enige reden waarom sommige wetenschappers afgeven op commercieel onderzoek is omdat zij afgunstig zijn op de budgetten die daarbij komen kijken en weten dat zij met hun hobby daar geen aanspraak op kunnen maken.

Dat lijkt me niet... eerder dat dergelijk onderzoek kennelijk niet de bevordering van de wetenschap heeft als primair doel.

quote:

Op dinsdag 1 september 2015 14:17 schreef EttovanBelgie het volgende:
De enige reden waarom sommige wetenschappers afgeven op commercieel onderzoek is omdat zij afgunstig zijn op de budgetten die daarbij komen kijken en weten dat zij met hun hobby daar geen aanspraak op kunnen maken.

Dat lijkt me niet... eerder dat dergelijk onderzoek kennelijk niet de bevordering van de wetenschap heeft als primair doel.

True. Ik had "de voornaamste" reden moeten gebruiken i.p.v enige. Er zullen ongetwijfeld meerdere redenen te verzinnen zijn. Een beetje handige onderzoeker combineert het nuttige met het aangename en weet ook een meer "rendabel" onderzoek nog een flinke wetenschappelijke insteek te geven.

quote:

Op dinsdag 1 september 2015 12:42 schreef Ryon het volgende:

[..]

Niet echt. De working poor vormt een belangrijk deel van mijn onderzoekspopulatie. Geef ze een onkostenvergoeding en ze komen met busjes tegelijkertijd (volledig representatief en wel) opdraven. Of een persoon mee doet aan een onderzoekje voor de lol, voor de wetenschap of voor een paar tientjes doet er verder niet veel toe.

Dergelijke problematiek zou trouwens geen excuus mogen zijn voor slecht onderzoek. Tal van bureaus zijn gespecialiseerd in het aanleveren van representatieve doelgroepen. Dat is een vak apart en daar mag je best gebruik van maken.

Ik heb wel eens met de not working poor gewerkt. Onze proefpersonen werden geselecteerd in een kliniek, en soms zat er iemand tussen die gaan baan had. Vaak vergaten ze dan hun afspraak voor een meting bij ons, en dat was eigenlijk maar goed ook, want het waren vaak vevelende mensen, die het alleen maar voor het geld deden.

Jaren later leerde ik dat het beter is om mensen juist niet te betalen, omdat je daarmee proefpersonen werft die het voor het onderzoek doen, en die het belang er van in zien om goed mee te werken.

Het was dan wel wat lastiger om minderheden te werven, alhoewel ik de lol er wel van in kon zien als we weer dolblij waren als een blanke plotseling Hispanic bleek te zijn. Niet dat het voor mijn onderzoek zo veel uitmaakt wat voor een kleur iemand heeft; als ik tien man/vrouw weet te vangen, vind ik het vaak wel weer mooi geweest. Show and tell, weet je wel. Nee, serieus, onze metingen waren er vaak niet op gericht om de verschillen tussen proefpersonen in kaart te brengen, maar om te laten zien dat een apparaat werkt.

quote:

Op zondag 30 augustus 2015 16:37 schreef Operc het volgende:

[..]

1 en 2 vallen samen en komen vooral door de grote verschillen tussen culturen en mensen. Het heeft bij de psychologie geen zin om naar 5-6 sigma te gaan omdat individuele verschillen dat onmogelijk maken. Je lijkt te impliceren dat effecten op basis van twee sigma er niet toe doen, maar niets is minder waar. Alle medicijnen die worden getest gebruiken ook deze criteria en er zijn nog een groot aantal disciplines die met deze onzekerheidsfactor werken. Dat betekent inderdaad dat een grotere foutmarge wordt geaccepteerd, maar dat wil niet zeggen dat het onderzoek daardoor niet deugt of per definitie niet wetenschappelijk is.

Dat klopt natuurlijk, maar die grens van 0,05 kan wel problematisch worden als je het combineert met de druk om te scoren. Voor mijn gevoel (als leek die zo af en toe wat wetenschap leest) is die jacht op significante resultaten wel een probleem binnen de sociale wetenschappen.

quote:

Op dinsdag 1 september 2015 14:27 schreef Ryon het volgende:

[..]

True. Ik had "de voornaamste" reden moeten gebruiken i.p.v enige. Er zullen ongetwijfeld meerdere redenen te verzinnen zijn. Een beetje handige onderzoeker combineert het nuttige met het aangename en weet ook een meer "rendabel" onderzoek nog een flinke wetenschappelijke insteek te geven.

De hoofdreden is natuurlijk dat wetenschap helemaal niet hoeft te renderen. Dat wetenschap ook van economische waarde kan zijn, betekent niet dat dit het doel van wetenschappelijk onderzoek is.

Je kunt het ook vergelijken met voetbal, dat geen enkele economische waarde voortbrengt. Dat voetbal zich beter kan bedruipen dan wetenschap, komt alleen omdat de meeste mensen meer belangstelling hebben voor sport dan voor wetenschap.

De belangrijkste rol van wetenschap is het formuleren van een goed onderbouwd wereldbeeld. De meeste mensen nemen aan dat het alledaagse leven hen voldoende inzicht geeft. Ze erkennen daarmee wel een behoefte aan inzicht, maar beseffen onvoldoende hoe beperkt dat inzicht nog is

Het vergroten van ons inzicht is een heel ander soort spel dan de economische bedrijvigheid, met andere motieven en spelregels. Je moet daarvoor buiten het kader van het alledaagse leven kunnen treden, en buiten het profijtbeginsel (want de afstand tot het economische is groot en niet het doel). Het is mogelijk dat je een probleem hebt opgelost, zonder veel inzicht (bv een medicijn dat werkt, zonder dat je begrijpt hoe). Economisch gezien ben je dan klaar, maar wetenschappelijk gezien ben je niet eens begonnen.

De belangrijkste doel van de wetenschap is de samenhang der dingen ontrafelen, het overzicht vergroten, om zo te komen tot een betere voorstelling van de wereld. De motieven van wetenschappers zijn gewoon menselijk. Zoals een handelsman streeft naar rijkdom, zo zal een wetenschapper eerzuchtig kunnen zijn. De motieven zullen divers zijn, maar als je wetenschap plaatst binnen een economisch kader, doe je het tekort.

Ook de werkmethode is anders. Werken met prijsprikkels past niet bij het spel van de wetenschap. Daarvoor ontbreekt het teveel aan controle (want je werkt op onbekend terrein). Die controle is onmogelijk en dat leidt ertoe dat mensen standaard dingetjes gaan onderzoeken op een standaard manier. Ze maken er een productieproces van. Alleen op bekend terrein kun je plannen, standariseren, resultaat gericht werken en stimuleren met prijsprikkels. Maar dan is het al een industrie. Op onbekend terrein moet je andere kwaliteiten hebben: interesse, opmerkzaamheid, speelsheid, ...

Wat jonge wetenschappers te weinig leren, is spelen en proberen (zonder dat het tot iets hoeft te leiden, niet omdat resultaat onbelangrijk is, maar omdat je daarmee al teveel vrijheid ontneemt). Er is geen betere manier om een onderzoeksterrein te leren kennen en eigen ideeen te ontwikkelen, als dingen iets net iets anders te doen dan standaard als je daar aanleiding toe ziet. Sta er bij stil als je niet overtuigd bent, en waarom niet. Maar dat tobben & prutsen kost zeeen van tijd. Resultaatgerichte mensen kunnen dat niet (die willen resultaat zien), alleen mensen met veel interesse in de materie kunnen dat.

Veel onderzoek is al een vorm van industrie. Het bindt onderzoekers aan een heel nauw afgebakend onderzoeksterrein en standaard praktijken. Te doods voor een goede onderzoekscultuur.

De slimme wetenschapper, die met onderzoek in opdracht geld binnenhaalt en dit besteed aan het onderzoek waar zijn eigen belangstelling naar uitgaat, is een illusie. De geesteshouding die past bij onderzoek doen, botst teveel met de geesteshouding die past bij slim managen, om beide te kunnen combineren.

[ Bericht 0% gewijzigd door deelnemer op 01-09-2015 16:34:09 ]

quote:

Op dinsdag 1 september 2015 16:22 schreef deelnemer het volgende:

[..]

De hoofdreden is natuurlijk dat wetenschap helemaal niet hoeft te renderen. Dat wetenschap ook van economische waarde kan zijn, betekent niet dat dit het doel van wetenschappelijk onderzoek is.

Je kunt het ook vergelijken met voetbal, dat geen enkele economische waarde voortbrengt. Dat voetbal zich beter kan bedruipen dan wetenschap, komt alleen omdat de meeste mensen meer belangstelling hebben voor sport dan voor wetenschap.

De belangrijkste rol van wetenschap is het formuleren van een goed onderbouwd wereldbeeld. De meeste mensen nemen aan dat het alledaagse leven hen voldoende inzicht geeft. Ze erkennen daarmee wel een behoefte aan inzicht, maar beseffen onvoldoende hoe beperkt dat inzicht nog is

Het vergroten van ons inzicht is een heel ander soort spel dan de economische bedrijvigheid, met andere motieven en spelregels. Je moet daarvoor buiten het kader van het alledaagse leven kunnen treden, en buiten het profijtbeginsel (want de afstand tot het economische is groot en niet het doel). Het is mogelijk dat je een probleem hebt opgelost, zonder veel inzicht (bv een medicijn dat werkt, zonder dat je begrijpt hoe). Economisch gezien ben je dan klaar, maar wetenschappelijk gezien ben je niet eens begonnen.

De belangrijkste doel van de wetenschap is de samenhang der dingen ontrafelen, het overzicht vergroten, om zo te komen tot een betere voorstelling van de wereld. De motieven van wetenschappers zijn gewoon menselijk. Zoals een handelsman streeft naar rijkdom, zo zal een wetenschapper eerzuchtig kunnen zijn. De motieven zullen divers zijn, maar als je wetenschap plaatst binnen een economisch kader, doe je het tekort.

Ook de werkmethode is anders. Werken met prijsprikkels past niet bij het spel van de wetenschap. Daarvoor ontbreekt het teveel aan controle (want je werkt op onbekend terrein). Die controle is onmogelijk en dat leidt ertoe dat mensen standaard dingetjes gaan onderzoeken op een standaard manier. Ze maken er een productieproces van. Alleen op bekend terrein kun je plannen, standariseren, resultaat gericht werken en stimuleren met prijsprikkels. Maar dan is het al een industrie. Op onbekend terrein moet je andere kwaliteiten hebben: interesse, opmerkzaamheid, speelsheid, ...

Wat jonge wetenschappers te weinig leren, is spelen en proberen (zonder dat het tot iets hoeft te leiden, niet omdat resultaat onbelangrijk is, maar omdat je daarmee al teveel vrijheid ontneemt). Er is geen betere manier om een onderzoeksterrein te leren kennen en eigen ideeen te ontwikkelen, als dingen iets net iets anders te doen dan standaard als je daar aanleiding toe ziet. Sta er bij stil als je niet overtuigd bent, en waarom niet. Maar dat tobben & prutsen kost zeeen van tijd. Resultaatgerichte mensen kunnen dat niet (die willen resultaat zien), alleen mensen met veel interesse in de materie kunnen dat.

Veel onderzoek is al een vorm van industrie. Het bindt onderzoekers aan een heel nauw afgebakend onderzoeksterrein en standaard praktijken. Te doods voor een goede onderzoekscultuur.

De slimme wetenschapper, die met onderzoek in opdracht geld binnenhaalt en dit besteed aan het onderzoek waar zijn eigen belangstelling naar uitgaat, is een illusie. De geesteshouding die past bij onderzoek doen, botst teveel met de geesteshouding die past bij slim managen, om beide te kunnen combineren.

Je hebt er wel kijk op, maar je verteert het als Noam Chomsky.

Nee, jonge wetenschappers leren wel degelijk om te spelen en te proberen, maar je wordt geen goede wetenschapper door te spelen en te proberen. Je wordt een goede wetenschapper door heel minitieus een enorme hoeveelheid kennis en ervaring te stapelen, zodat je net iets meer kennis en ervaring hebt dan de concurrentie in je vakgebied, en je boven de ruis van kennis uit kunt stijgen, om vanuit je toren van kennis te zien waar de pot met goud staat: je hebt dan zo veel kennis dat je wel kunt zien waar de volgende grote doorbraak ligt.

De vraag zou dan moeten zijn hoe we die wetenschappers die wel kunnen stapelen zo goed mogelijk kunnen ondersteunen, terwijl we de wetenschappers die parasiteren op het systeem uit het systeem verwijderen.

Goede kennisstapelaars met een diploma van een goede universiteit en een postdoc bij een goede professor hoeven zich geen zorgen te maken: het systeem is zo ontwikkeld dat zij zonder al te veel problemen hun onderzoeksvoorstellen gehonoreerd zien worden, en op de juiste plaatsen terecht komen. Hele slechte kennisstapelaars gaan de industrie in, en dan blijft er een categorie over die een minder goed CV heeft, en helaas is het zo dat het systeem in het voordeel werkt van de parasieten, en in het nadeel van onderzoekers die wel het talent hebben, maar niet het CV.

Sterker nog, het systeem is er op gericht om te parasiteren. De Stapels van deze wereld, maar ook gewoonweg mindere goden die hebben ontdekt hoe je een luilekkerleventje in de wetenschap kunt hebben, zonder je al te veel in te spannen. Iedereen kent ze wel, de window dressers die belabberd onderzoek doen, die op iedere conferentie te zien zijn, die in allerlei committees zitten of editor zijn bij verschillende journals, die veel grants binnen halen, zonder een echte aansprekende wetenschappelijke publicatie. De grootste window dresser in mijn vakgebied is meer een politicus dan een onderzoeker, en heeft al zijn voormalige postdocs op strategische plaatsen gedropt, zodat hij ieder jaar weer een enorme prijs pakt, of zijn publicaties in goede journals krijgt.

Hoe dat dan te veranderen? Ik zie wel wat in career grants, die Nederland al heeft trouwens, maar Japan bijvoorbeeld niet. Een career grant als een soort van bijstandsuitkering, om je net in leven te houden. En dat je er de rest dan zelf bijsprokkelt, zonder dat er ook maar een cent overheidsgeld bij komt kijken. Want daar zit 'm de kneep: de verdeling van dat overheidsgeld, wat een idioot circus is, waarbij jouw directe concurrentie gaat bepalen of jij wel of niet in aanmerking komt voor dat geld. Nee, laat onderzoekers maar op zoek gaan naar crowd funding, of aankloppen bij een bedrijf.

quote:

Op dinsdag 1 september 2015 09:07 schreef Lyrebird het volgende:
Over dat ingenieurs-eigen zijn.. nu ik er over nadenk heb ik al van meerdere onderzoekers van Nederlandse universiteiten gehoord hoe er over het wetenschappelijke niveau van de Technische Universiteiten wordt gedacht. Dat is niet best. Het rare is dat je daar in het buitenland nooit iets van hoort. Delft (met name Delft), Eindhoven en Twente staan in de buitenlandse wandelgangen hoog aangeschreven.

Je kunt je natuurlijk afvragen of dat echt zo is, Delft (en een beetje Eindhoven) heeft wel net het Marjorana deeltje gevonden. Maar ik kan dat neerkijken wellicht wel duiden (niet dat ik het ermee eens ben uiteraard) als een combinatie van factoren. Ik heb in Eindhoven nog wel eens het gevoel dat de hogeschool geest rondwaart, een restant van de TH tijd. In het buitenland kennen ze het verschil niet tussen hogescholen en universiteiten, dus die gevoeligheid zal er niet zijn. De TUs zijn behoorlijk commercieel ingesteld, zeker Eindhoven gaat er prat op alles samen te doen met het bedrijfsleven. Het is voortdurend handjeklap. Toen ik nog in Utrecht werkte, was 'bedrijfsleven' daar echt een heel vies woord. Dat zijn ongeschoolden die je data corrumperen. Dus meer met het bedrijfsleven werken is zeker niet iets om trots op te zijn. Daarnaast is er natuurlijk altijd een beetje een faculteitenstrijd, waarbij theoretici neerkijken op de toegepasten. En als laatste hebben TUs vooral nieuwe vakgebieden, inherent aan de drang naar innovatie. Ten eerste hebben klassieke studies veel langer de tijd gehad een goede wetenschappelijke methodiek en ethiek te creeren. Ten tweede zijn ze vaak ook veel groter met duidelijkere verwachtingspatronen in de studie en baanperspectieven. Je kunt veel zeggen over de wetenschappelijkheid van brede studies als bedrijfskunde en sociologie op de algemene universiteiten, maar je wordt alleen promovendus als je in de honors klassen hebt gezeten, een research master met tien methodologievakken gedaan hebt en cum laude bent afgestudeerd. Ik deed dan wel beta maar was een kut zesjesstudent. Ik geloof niet dat ik ergens echt mijn best voor heb gedaan en heb alle makkelijke vakken gekozen. Alleen, ik vond de vraag belangrijker dan het antwoord, en dat maakte me al meer geschikt om promovendus te worden dan mijn hele afstudeerjaar.

[ Bericht 2% gewijzigd door speknek op 02-09-2015 09:44:22 ]

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Maar ik kan dat neerkijken wellicht wel duiden (niet dat ik het ermee eens ben uiteraard) als een combinatie van factoren. Ik heb in Eindhoven nog wel eens het gevoel dat de hogeschool geest rondwaart, een restant van de TH tijd. In het buitenland kennen ze het verschil niet tussen hogescholen en universiteiten, dus die gevoeligheid zal er niet zijn.

Nu ik er over nadenk heb ik in de VS wel een soortgelijke broedertwist ondervonden. Daar heb je heel erg goede TUs (polytechnics), zoals Rensellaer en Rose Hulman. De ingenieurs die zo'n opleiding hebben gehad, zijn vanaf dag 1 veteranen: die lopen zo mee in je organisatie. Ze kunnen programmeren, ze kunnen ontwerpen en ze kunnen een complex project draaien. Ik ken vier jongens die zo'n opleiding hebben gedaan en het zijn allemaal toppers.

Wij hadden een net afgestudeerde ingenieur van Rose Hulman en de PI van onze groep had geen goede woorden voor hem over. Viel over kleine dingetjes die hier en daar vergeten waren, terwijl hij zelf niets praktisch kon. Niet programmeren, niet ontwerpen, niet bouwen, niets. Zelfs met data-analyse had hij problemen, omdat hij niet bekend was met statistiek. Hij wist wel alles van het vakgebied, echt een kei, en kon een probleem tot op de bodem uitdiepen.

Bij TU werk ben je vaak bezig met het ontwerpen en bouwen van iets, zodat er eigenlijk maar een kleine onderzoekscomponent is: werkt het? Als het niet werkt, moet je nog harder werken om het wel werkend te krijgen, en als het wel werkt, dan heb je echt geen PhD nodig om te kwantificeren hoe goed het werkt.

Misschien dat mensen die gewend zijn om heel erg veel data te verzamelen en te analyseren zich dat niet zo realiseren, en daarom afgeven op TU-gerelateerd werk.

quote:

Op vrijdag 28 augustus 2015 08:52 schreef Ser_Ciappelletto het volgende:

[..]

Dat er fouten insluipen, is onvermijdelijk. Maar dat 50% van de gepubliceerde onderzoeken niet te reproduceren valt, is toch wel schokkend.

Wat ik vooral schokkender vind, is dat dit jarenlang gewoon door kan blijven gaan.
Denk zelf dat dit grootdeels komt door hoe de mens zelf is (de meeste mensen die ik ken, zijn gewoonweg niet zo rationeel als ze zelf willen doen geloven...wetenschap is nou eenmaal iets waar veel rationaliteit bij komt kijken).

Lees de rest van dit topic later nog wel door

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Dus meer met het bedrijfsleven werken is zeker niet iets om trots op te zijn. Daarnaast is er natuurlijk altijd een beetje een faculteitenstrijd, waarbij theoretici neerkijken op de toegepasten.

Al sinds het begin van mijn studie werkte ik voor zowel universiteiten als commerciële onderzoekbureaus. Daar was altijd een uitgesproken spanning tussen die ik nu - op dit moment zelfs - nog steeds voel. Wetenschappers met een academische aanstelling kijken - praktisch zonder uitzondering - een beetje neer op alles wat commercieel bezig is. Consultants etc. zouden ongefundeerd broddelwerk afleveren en geen zuiver onderzoek doen. Vanuit de commerciele sector wordt er weer neergekeken op de wetenschap, al is het maar omdat een wetenschappelijk onderzoeker nog niet eens de helft krijgt van wat je in de praktijk kan verdienen. Als je een Phd hebt hoef je ook zeker niet aan te kloppen, dan mag je lekker wetenschap gaan bedrijven.

Naar mijn mening zit het er een beetje tussen in. Het bedrijf waar ik nu zit heeft recentelijk een offerte gewonnen van TU Delft door gewoon hetzelfde onderzoek voor de helft van de prijs te doen in de helft van de tijd. Ja, daar maak je vrienden mee en verdien je ook centen mee. Ik snap ook wel dat je als wetenschappelijk medewerker dan gewoon goed pissed off bent. In hun ogen wordt er ingeboet aan "wetenschappelijke waarde" als je praktijkgericht onderzoek doet, maar in 9 van de 10 gevallen zit een opdrachtgever helemaal niet te wachten op wetenschappelijk onderzoek maar wil die gewoon kennis hebben waar hij/zij wat mee kan.

Ik ben geen fan van de oppervlakkige houding die veel commerciële toko's hanteren ("alleen ja zeggen als er goed geld mee verdiend kan worden"), maar ik erger mij nog veel meer aan het gebrek aan ondernemerschap bij wetenschappers. Die schieten zichzelf echt in hun voet door alleen waarde toe te kennen aan onderzoek en publicaties die binnen hun vakgebied (vaak een vierkante centimeter) enige prestige opleveren. Dat is leuk, maar in "de echte wereld" moet er ook gewoon geld verdiend worden om de financiering te kunnen regelen voor wat voor een prestigeprojecten dan ook.

Als men het niet te druk had om elkaars onderzoek belachelijk te maken had men ook echt wat van elkaar kunnen opsteken. Maar goed, ieder zijn meug.

quote:

Op woensdag 2 september 2015 09:33 schreef speknek het volgende:
Je kunt veel zeggen over de wetenschappelijkheid van brede studies als bedrijfskunde en sociologie op de algemene universiteiten, maar je wordt alleen promovendus als je in de honors klassen hebt gezeten, een research master met tien methodologievakken gedaan hebt en cum laude bent afgestudeerd.

De vijver om uit te vissen is dan ook vrij groot. Bij sociologie (relatief kleine studie trouwens) gaat minder dan 5% promoveren. Als dat je droom is moet je consequent bij de beste studenten zitten. Je komt dan ook al vrij snel in een "aparte track" te zitten buiten de andere gamma studenten die opgeleid worden voor commerciële en maatschappelijke functies. Dat levert wel een ziek gedreven sfeer op, mensen kiezen dan heel bewust voor de wetenschap. Of juist heel bewust niet.

quote:

Op woensdag 2 september 2015 13:00 schreef Ryon het volgende:
Naar mijn mening zit het er een beetje tussen in. Het bedrijf waar ik nu zit heeft recentelijk een offerte gewonnen van TU Delft door gewoon hetzelfde onderzoek voor de helft van de prijs te doen in de helft van de tijd. Ja, daar maak je vrienden mee en verdien je ook centen mee. Ik snap ook wel dat je als wetenschappelijk medewerker dan gewoon goed pissed off bent. In hun ogen wordt er ingeboet aan "wetenschappelijke waarde" als je praktijkgericht onderzoek doet, maar in 9 van de 10 gevallen zit een opdrachtgever helemaal niet te wachten op wetenschappelijk onderzoek maar wil die gewoon kennis hebben waar hij/zij wat mee kan.

Dat klinkt meer als gewoon meten.

quote:

Op woensdag 2 september 2015 12:41 schreef Ser_Ciappelletto het volgende:

[..]

Je zou hier in Vlaanderen eens moeten komen zien. Op examens wordt er bijna alleen reproductie gevraagd, vrijwel geen inzichtvragen en al helemaal geen originaliteit. Sommige proffen stellen dat niet eens op prijs. De beste studenten zijn dus degenen die het beste kunnen blokken. Driemaal raden wat voor gevolgen dat heeft voor de PhD-studenten, die verplicht onderscheidingen moeten hebben.

... of wat voor een gevolgen dat heeft voor de volgende generatie professoren.

Van mijn Indiase studenten begrijp ik dat het er in India ook zo aan toegaat.