Beide algoritmes zijn onderhevig aan dezelfde arena eigenschappen (dus minimaal 49 stappen nodig). Maar goed, kan ik nu dus een T-test runnen of moet ik toch aan de MANOVA (wat ik nog niet eens gehad heb geloof ik)?quote:Op vrijdag 29 januari 2010 17:39 schreef speknek het volgende:
Volgens mij zou dat niet uit moeten maken, zolang het maar voor beide algoritmes geldt dat 49 de ondergrens is. Als je kijkt of twee groepen mensen een significant andere leeftijd hebben, hoef je er ook geen babies van 0 in te stoppen om de statistiek te laten werken.
Maar desgewenst zou je in plaats van het aantal stappen natuurlijk het aantal extra stappen kunnen meten, dus alle scores -49 doen.
waarnaar differentiëren wij?quote:uitwerken:
d(x2 - y2) = d1
d(x2) d(y2) = 0
2xdx - 2ydy = 0
bij impliciet differentiëren moet je toch term voor term te werk gaan, evt rekening houdend met zaken als productregel?quote:
ja was al te laatquote:Op vrijdag 29 januari 2010 18:03 schreef ErictheSwift het volgende:
[..]
bij impliciet differentiëren moet je toch term voor term te werk gaan, evt rekening houdend met zaken als productregel?
Je kunt het gemiddelde van de uitkomsten nemen en een t-test doen, of een manova doen over alle uitkomsten.quote:Op vrijdag 29 januari 2010 18:00 schreef koffiegast het volgende:
Beide algoritmes zijn onderhevig aan dezelfde arena eigenschappen (dus minimaal 49 stappen nodig). Maar goed, kan ik nu dus een T-test runnen of moet ik toch aan de MANOVA (wat ik nog niet eens gehad heb geloof ik)?
bij de bepaling van b gaat je x² in de noemer fout.quote:Op vrijdag 29 januari 2010 18:03 schreef ErictheSwift het volgende:
[..]
bij impliciet differentiëren moet je toch term voor term te werk gaan, evt rekening houdend met zaken als productregel?
Ik zou voor elk algoritme en voor elk aantal obstakels een flink aantal grote batches draaien en van elke batch het gemiddelde pakken. Van dat gemiddelde kun je (toepassing centrale limietstelling) zeggen dat hij normaal verdeeld is, bij benadering die nauwkeuriger is bij grote batch. Je hebt dan een reeks normaal verdeelde stochasten en je kunt de t-toets doen.quote:Op vrijdag 29 januari 2010 17:12 schreef koffiegast het volgende:
Hey,
ik zit met een probleem. Ik kan niet echt uitgoochelen of ik de juiste T-test pak en of ik juist iets anders moet hebben. Ik heb namelijk een experiment gerunt met 2 verschillende algoritmes. Namelijk robot planning. Robots lopen door een arena van een startpunt naar een eindgoal. Daarbij heb ik voor elke keer dat ik een simulatie deed (met 1 van de algoritmes) een random arena gecreëerd (dus op random posities obstakels).
De startpositie is op (1,1) en eindgoal op (50,50) en de arena is 50x50 groot. Ideaal is er geen obstakel en loopt hij rechtstreeks naar de goal in 49 stappen (lager kan niet, en schuin kost evenveel tijd als hori/verticaal).
Ik heb vervolgens op diverse nivo's % obstakels (0% obstakels, 5%, 10%, 15% etc tot 60%) 1000 runs gedaan met elk algoritme. Als resultaat krijg ik natuurlijk op 0% gemiddeld 49 en std 0, op 25% 67 gemiddeld en std 24 voor de ene algoritme en 58 gemiddeld met 3 std voor de andere. We hadden als hypothese dat de ene algoritme veel beter (minder stappen nodig heeft) dan de andere.
Het probleem nu is, is dat het domein natuurlijke getallen zijn met een ondergrens van 49 en dat je dus niet zoiets hebt als 50,5 stap nodig maar juist 50 of 51. Nou had ik eerst aangenomen dat ik een T-test hiervoor kon gebruiken, maar ik twijfel vanwege het domein en de ondergrens.
Na wat gezocht te hebben, kom ik er nog niet helemaal uit wat ik nou precies moet doen en of ik wel kan stellen dat het normaal verdeeld is.
Iemand suggesties? Alvast bedankt
Gezien, my bad;quote:Op vrijdag 29 januari 2010 18:10 schreef GlowMouse het volgende:
[..]
bij de bepaling van b gaat je x² in de noemer fout.
De situatie is nu dat de ene algoritme op elk nivo (met uitzondering van 0% want daar scoren ze gelijk) beter scoort en ook nog eens veel lagere standaardafwijkingen heeft, zo scoort de ene met 60% obstacles 174,3571 gemiddeld en std 78.3578 en de andere 497,125 en std 261.7346. Ook op lagere % scoort de ene lager en is std meestal niet eens de helft.quote:Op vrijdag 29 januari 2010 18:09 schreef speknek het volgende:
[..]
Je kunt het gemiddelde van de uitkomsten nemen en een t-test doen, of een manova doen over alle uitkomsten.
Er is niets mis met het eerste, de uitkomst is makkelijk te verklaren. Als je niet weet hoe een manova werkt zou ik dat doen.
Het kan bijvoorbeeld alleen zijn dat algoritme 1 heel goed is bij weinig obstakels, maar slecht bij veel obstakels, terwijl algoritme 2 heel goed is bij veel obstakels, maar slecht bij weinig. Als je dan het gemiddelde neemt, komen ze op evenveel stappen uit en zou je met een t-test denken dat er geen verschil in gebruik tussen de twee algoritmes zit. Met een manova is dat wel te achterhalen.
alle 13 levels samen kun je doen maar dan verlies je informatie omdat je alleen nog een uitspraak over het geheel kunt doen. (vergeet niet dat je dan ook je std aan moet passen en je de kans loopt dat het geheeld niet meer significant is)quote:Op vrijdag 29 januari 2010 18:42 schreef koffiegast het volgende:
[..]
De situatie is nu dat de ene algoritme op elk nivo (met uitzondering van 0% want daar scoren ze gelijk) beter scoort en ook nog eens veel lagere standaardafwijkingen heeft, zo scoort de ene met 60% obstacles 174,3571 gemiddeld en std 78.3578 en de andere 497,125 en std 261.7346. Ook op lagere % scoort de ene lager en is std meestal niet eens de helft.
Wat een vriend van me deed was voor alle 13 levels (0%,5%,10%, etc tot 60%) de twee algoritmes vergelijken met een t-test (dus op 25% t-test tussen beide algos, dan 30%, dan 35% etc) en dan per level aanduiden dat het significant is of niet. Is dat handiger dan voor alle 13 levels samen per algoritme het gemiddelde nemen en dan er een uitspraak over doen?
Ik heb nu dus voor alle 13 levels 2 verschillende algos gerund met ieder 1000 runs (dus 26000 runs totaal), en er vanuit gegaan dat er in principe 2 onafhankelijke variabelen zijn: het algoritme en % obstacles (waarbij dit niet continu % is btw) en 1 afhankelijke variabele: de hoeveelheid iteraties/stappen.
Je maakt het allemaal wel (onnodig) moeilijk. Herleiden geeftquote:Op vrijdag 29 januari 2010 17:59 schreef ErictheSwift het volgende:
OK, kunnen we nu even het semantisch geneuzel laten voor wat het is aub... In het kader van het bijpoetsen van mn math skillz stuitte ik op de volgende vraag: de asymptoten van x2 - y2 = 1.
quote:Op zaterdag 30 januari 2010 21:43 schreef GlowMouse het volgende:
Als je onzin in de computer stopt, moet je niet verwachten dat er wat zinnigs uitkomt.
Mja wellicht vraag ik wel te specifiek dat ik iets anders wil zien dan een 0. Het zal wel komen dat ik nog nooit iets heb gezien dat op het eerste oogslag vrijwel niet verschilt toch resulteert in een p-waarde van 0. Mogelijk komt het gewoon door de enorme hoeveelheid data, zodat hetgene onder de breuk gigantisch wordt en het resultaat zo klein wordt dat het in Matlab als 0 wordt weergegeven.quote:Op zaterdag 30 januari 2010 22:13 schreef GlowMouse het volgende:
Die 'statistici' hierboven kunnen ook vast een 0,02 tevoorschijn toveren, of een 0,15 als je dat liever hebt.
quote:Op zaterdag 30 januari 2010 22:13 schreef GlowMouse het volgende:
Die 'statistici' hierboven kunnen ook vast een 0,02 tevoorschijn toveren, of een 0,15 als je dat liever hebt.
Als hij het knopje voor de F-test had ingedrukt, had hij ook een mooie p-waarde gehad. Je moet er alleen geen conclusies aan willen verbinden.quote:Op zondag 31 januari 2010 11:31 schreef squig het volgende:
[..]
met een hoge sample size kan zo'n klein verschil wel degelijk significant zijn trouwens
het ging ook om de "quote:Op zondag 31 januari 2010 11:38 schreef GlowMouse het volgende:
[..]
Als hij het knopje voor de F-test had ingedrukt, had hij ook een mooie p-waarde gehad. Je moet er alleen geen conclusies aan willen verbinden.
En ik dacht dat dit juist een compliment was. ''Hoe kan ik de statistische analyse zo aanpassen dat het doet wat ik wil' werd als goede eigenschap genoemd bij de winnares van de laatste rema-thesis award een paar maanden geleden.
Forum Opties | |
---|---|
Forumhop: | |
Hop naar: |