Ja, dan zeg je zoiets van: although the result is in the expected direction, it is not significant. En dan stop je. Zo lees ik dat altijd in artikelen of jij niet? Achja, scripties met niet significante resultaten zijn meer regel dan uitzondering.quote:Op zondag 13 maart 2016 22:37 schreef Sarasi het volgende:
[..]
Het effect is er nog steeds hoor, ook al is het niet significant. Het effect heeft een richting, een effectgrootte, je kunt voor verschillende verdelingen een betrouwbaarheidsinterval opstellen en dat bekijken... Geen significant resultaat betekent niet dat je alles net zo goed de prullenbak in kunt flikkeren. Het betekent alleen dat je de nulhypothese niet mag verwerpen, niet dat je de alternatieve hypothese MOET verwerpen.
En hopelijk vertaal je dat dan naar implicaties voor vervolgonderzoek etc ja. Dat zijn nog steeds meer woorden dan als je wel een significant resultaat had. Maar concluderend heb je dus geen antwoord op mijn vraag?quote:Op zondag 13 maart 2016 22:48 schreef MCH het volgende:
[..]
Ja, dan zeg je zoiets van: although the result is in the expected direction, it is not significant. En dan stop je. Zo lees ik dat altijd in artikelen of jij niet? Achja, scripties met niet significante resultaten zijn meer regel dan uitzondering.
Een p van .5 is vrijwel de minst inzichtelijke uitkomst die je kunt hebben. Als de H0 waar is, heb je een kans van 50-50 om zo'n verschil of een groter verschil te vinden.quote:Op zondag 13 maart 2016 22:37 schreef Sarasi het volgende:
[..]
Het effect is er nog steeds hoor, ook al is het niet significant. Het effect heeft een richting, een effectgrootte, je kunt voor verschillende verdelingen een betrouwbaarheidsinterval opstellen en dat bekijken... Geen significant resultaat betekent niet dat je alles net zo goed de prullenbak in kunt flikkeren. Het betekent alleen dat je de nulhypothese niet mag verwerpen, niet dat je de alternatieve hypothese MOET verwerpen.
Oh nee dat begrijp je verkeerd. De n is 850 ofzo, 15/85 is de verdeling van de twee groepen. En ik heb dus bij de meest interessante test een p van 0.11, dat vind ik nog niet zo oninteressant.quote:Op zondag 13 maart 2016 22:55 schreef oompaloompa het volgende:
[..]
Een p van .5 is vrijwel de minst inzichtelijke uitkomst die je kunt hebben. Als de H0 waar is, heb je een kans van 50-50 om zo'n verschil of een groter verschil te vinden.
Al,s het within is, kun je (zou je) een repeated measures test kunnen doen.
Sowieso met een n van 15 wordt het moeilijk iets significants te vinden.
De drie testen zijn niet per persoon?quote:Op zondag 13 maart 2016 23:02 schreef Sarasi het volgende:
[..]
Oh nee dat begrijp je verkeerd. De n is 850 ofzo, 15/85 is de verdeling van de twee groepen. En ik heb dus bij de meest interessante test een p van 0.11, dat vind ik nog niet zo oninteressant.Maar het is geen repeated measures want het zijn alle drie afzonderlijke testen met eigen items die iets heel anders meten.
Thanks voor het idee wel!
Dat wel, maar niet op verschillende tijdstippen afgenomen en ze meten alle drie iets heel anders. Gewoon een testbatterij, zeg maar.quote:Op zondag 13 maart 2016 23:06 schreef oompaloompa het volgende:
[..]
De drie testen zijn niet per persoon?
Dan ben ik bang dat je er niet heel erg veel mee kunt doenquote:Op zondag 13 maart 2016 23:07 schreef Sarasi het volgende:
[..]
Dat wel, maar niet op verschillende tijdstippen afgenomen en ze meten alle drie iets heel anders. Gewoon een testbatterij, zeg maar.
Ik snap het prima. Het betekent dat er een kans is van 11% dat ik mijn huidige resultaten vindt onder de assumptie van de nulhypothese. Omdat ik mijn cutoff op 5% heb gezet, heb ik a priori besloten dat 11% dus niet voldoende bewijs is om de alternatieve hypothese aan te nemen en de nulhypothese te verwerpen. Dat betekent, nogmaals, niet dat ik bij een p van 11% de nulhypothese aanneem. Je kunt nooit iets bevestigen, alleen ontkrachten. Ik test de nulhypothese, dus die kan ik niet bevestigen. Bij een significant resultaat kan het resultaat bij een volgende studie net zo goed anders zijn, want de p waarde differentieert niet tussen een echt bewijs voor de alternatieve hypothese in de populatie en gewoon een zeer onwaarschijnlijke steekproef. Sorry dat ik geen significantiefapper ben.quote:Op maandag 14 maart 2016 01:42 schreef Crack_ het volgende:
En je snapt 0.11 niet.. Je kunt niet zeggen ik zet mn cut off op 0.05 en mn uitkomst was 0.11 maar vind ik wel wat.
Nee, als je voor 0.05 kiest dan betekent dat je alles hoger dan dat als GEEN resultaat ziet. Dus 0.11 is zoals eerder gezegd, niks. Je kunt zoals ook al eerder gezegd, een richting aan geven maar dat houdt dus op bij 'maar dit was enkel bij deze studie en het resultaat bij andere studies kan anders zijn, want het resultaat was niet significant'.
Mooi, en sorry dat ik dat wel benquote:Op maandag 14 maart 2016 01:55 schreef Sarasi het volgende:
[..]
Ik snap het prima. Het betekent dat er een kans is van 11% dat ik mijn huidige resultaten vindt onder de assumptie van de nulhypothese. Omdat ik mijn cutoff op 5% heb gezet, heb ik a priori besloten dat 11% dus niet voldoende bewijs is om de alternatieve hypothese aan te nemen en de nulhypothese te verwerpen. Dat betekent, nogmaals, niet dat ik bij een p van 11% de nulhypothese aanneem. Je kunt nooit iets bevestigen, alleen ontkrachten. Ik test de nulhypothese, dus die kan ik niet bevestigen. Bij een significant resultaat kan het resultaat bij een volgende studie net zo goed anders zijn, want de p waarde differentieert niet tussen een echt bewijs voor de alternatieve hypothese in de populatie en gewoon een zeer onwaarschijnlijke steekproef. Sorry dat ik geen significantiefapper ben.
Verder boeit deze test niet eens zo heel veel want het is maar een zijweggetje van mijn tweede hoofdvraag. Ik vroeg me alleen af of ik, gezien de richting van de ene test de andere kant op gaat, de rangscores nog op een andere manier tegen elkaar uit kon zetten.
dan heb je dus geen verschil op je meest interessante test. aangezien de cutoff op .05 zitquote:Op maandag 14 maart 2016 01:55 schreef Sarasi het volgende:
[..]
Omdat ik mijn cutoff op 5% heb gezet, heb ik a priori besloten dat 11% dus niet voldoende bewijs is om de alternatieve hypothese aan te nemen en de nulhypothese te verwerpen.
[..]
Sorry dat ik geen significantiefapper ben.
[..]
En ik heb dus bij de meest interessante test een p van 0.11, dat vind ik nog niet zo oninteressant.![]()
Kun je iets meer uitleg geven? Snijpunt van wat met wat? Zou iig te toetsen moeten zijn.quote:Op maandag 14 maart 2016 12:16 schreef Z het volgende:
Zijn waarden van snijpunten tussen groepen te toetsen? Dus bij de ene groep is het snijpunt 2,53 en bij de andere groep 2,89. Is dit verschil significant? Ik kan er geen toets bij bedenken.
Dat kan prima. er moet immers ook brood op de plank komen. Zolang hij geen cijfers gaat vervalsen mogen anderen er van vinden wat ze willen (ie. geen hoge significantie, maar een knipoog naar een bepaalde richting).quote:Op maandag 14 maart 2016 17:05 schreef Silverdigger2 het volgende:
[..]
Als je bepaalt dat de cutoff ergens is, kan je niet achteraf de regels nog aanpassen! waarom onderzoek doen als je je niet aan je eigen regels houdt?
Zij, maar verder ongeveer dit ja. Ik ga echt niet zeggen dat het bijna significant is, helemaal significant, whatever. Maar als een resultaat niet significant is, kan het nog steeds wel interessant zijn. Als je een bepaald effect verwacht en je krijgt een p van 0.98 is dat ook ontiegelijk interessant. En dat een verschil niet significant is, betekent niet dat er helemaal geen verschil (in de steekproef) is. Of is een gemiddelde van 23 opeens gelijk aan een gemiddelde van 28 omdat de p waarde niet onder de Alpha zit?quote:Op maandag 14 maart 2016 17:50 schreef Zith het volgende:
[..]
Dat kan prima. er moet immers ook brood op de plank komen. Zolang hij geen cijfers gaat vervalsen mogen anderen er van vinden wat ze willen (ie. geen hoge significantie, maar een knipoog naar een bepaalde richting).
Niemand zal hem serieus nemen als hij zegt dat 0.11 significant is, maar het is prima wetenschap om resultaten te laten zien met 0.11 p-values en aan te geven dat het niet significant is maar dat het eventueel in een bepaalde richting kan wijzen.
Je kan alleen eigenlijk niets zeggen over of dat verschil ruis is of niet.quote:Op maandag 14 maart 2016 18:09 schreef Sarasi het volgende:
[..]
Zij, maar verder ongeveer dit ja. Ik ga echt niet zeggen dat het bijna significant is, helemaal significant, whatever. Maar als een resultaat niet significant is, kan het nog steeds wel interessant zijn. Als je een bepaald effect verwacht en je krijgt een p van 0.98 is dat ook ontiegelijk interessant. En dat een verschil niet significant is, betekent niet dat er helemaal geen verschil (in de steekproef) is. Of is een gemiddelde van 23 opeens gelijk aan een gemiddelde van 28 omdat de p waarde niet onder de Alpha zit?
er is geen bewijs dat het verschil verklaard kan worden door de in jouw model opgenomen variabelen, dat kan je er zeker over zeggen als de gemiddelden van de groepen die je in jouw test vergeleek 23 en 28 zijn.quote:Op maandag 14 maart 2016 18:09 schreef Sarasi het volgende:
Of is een gemiddelde van 23 opeens gelijk aan een gemiddelde van 28 omdat de p waarde niet onder de Alpha zit?
Dit kan zeker, maar de tendens had je ook kunnen baseren op eerder onderzoek.quote:Op maandag 14 maart 2016 17:50 schreef Zith het volgende:
[..]
Niemand zal hem serieus nemen als hij zegt dat 0.11 significant is, maar het is prima wetenschap om resultaten te laten zien met 0.11 p-values en aan te geven dat het niet significant is maar dat het eventueel in een bepaalde richting kan wijzen.
Een niet significant verschil is ook een significante bijdrage aan de wetenschapquote:Dat kan prima. er moet immers ook brood op de plank komen.
Cellen samenvoegen als dat kan, anders houdt het op.quote:Op maandag 14 maart 2016 21:11 schreef carmiie het volgende:
Wat moet ik doen als ik bij mijn chi-square teveel cellen heb met een expected count less than five? Ik las dat bij meer dan 20% de resultaten niet valide zijn? Bij sommige variabelen is het bij mij 60%.
Hoe doe ik dat?quote:Op maandag 14 maart 2016 21:21 schreef oompaloompa het volgende:
[..]
Cellen samenvoegen als dat kan, anders houdt het op.
Als je bv geinteresseerd bent in verschil man-vrouw en schrijfkleur rood-blauw op een bepaalde uitkomst, je test beperken tot verschil kleur (of verschil gender).quote:
Aahh zo, ik snap het, thanks!quote:Op maandag 14 maart 2016 21:44 schreef oompaloompa het volgende:
[..]
Als je bv geinteresseerd bent in verschil man-vrouw en schrijfkleur rood-blauw op een bepaalde uitkomst, je test beperken tot verschil kleur (of verschil gender).
Verder valt er helaas weinig te doen. (nou lijkt het me ook dat of dezelfde rij erg laag is in je experiment dus 98% - 2% voor groep 1 en 97% - 3% voor groep 2, en dan kun je zelfs zonder test wel zien dat er geen effect is, of juist het tegenovergestelde 99-1 voor groep 1 en 1-99 voor groep 2 en dan heb je eigenlijk ook niet echt een test meer nodig).
Bijdraaien? :pquote:Op maandag 14 maart 2016 21:53 schreef carmiie het volgende:
[..]
Aahh zo, ik snap het, thanks!Wel jammer dat er weinig aan te doen valt
Ik heb een prijsmeter-analyse gedaan voor verschillende versies van producten.quote:Op maandag 14 maart 2016 17:11 schreef oompaloompa het volgende:
[..]
Kun je iets meer uitleg geven? Snijpunt van wat met wat? Zou iig te toetsen moeten zijn.
Meer data verzamelen.quote:Op maandag 14 maart 2016 21:11 schreef carmiie het volgende:
Wat moet ik doen als ik bij mijn chi-square teveel cellen heb met een expected count less than five? Ik las dat bij meer dan 20% de resultaten niet valide zijn? Bij sommige variabelen is het bij mij 60%.
Forum Opties | |
---|---|
Forumhop: | |
Hop naar: |