Nog een vraag over het construeren van mijn schaal. Eerst nog even de eerdere posts:
quote:
Op woensdag 28 april 2010 22:21 schreef yozd het volgende:Mjah, dit is wat ik eigenlijk probeer te bewerkstelligen, voorbeeld:
Heeft u A?
Heeft u B?
Heeft u C?
Heeft u X?
Heeft u Y?
Heeft u Z?
Op alle vragen kan men ja of nee antwoorden --> 0 of 1. Al die vragen samen zeggen iets over het gevoerde "beleid" (betreffende dat onderwerp). Nu wil ik een totaalscore hebben van dat beleid. Ik dacht er eerst aan om alle scores op te tellen. Een respondent scoort dan, in dit voorbeeld, maximaal 6 ("veel beleid") en minimaal 0 (weinig beleid). Nu zou dat ietwat problematisch worden bij missing scores, aangezien die de totaalscores verpesten.
Bij het middelen liggen de scores tussen 0 (weinig beleid) en 1 (veel beleid). De waardes die eruit komen zijn dus niet 0 of 1, maar liggen daar tussen in (kunnen natuurlijk wel 0 of 1 zijn).
Ik zie alleen door de bomen het bos niet meer zo...
quote:
Op donderdag 29 april 2010 13:14 schreef Skv het volgende:Volgens mij is het erg moeilijk om te kijken of je vragen het concept wel goed meten met een bivariate variabele. Je gaat er vanuit dat die zaken het 'beleid' meten, maar statistisch kan je dit met Chronbach's alpha volgens mij niet aantonen. Maar, je kan toch met het gemiddelde per groep werken? Dan flikker je de 'geen antwoord'-dingen er uit en kijk je wat het gemiddelde is per respondent? Je zal dan per respondent een score tussen de 0 en 1 krijgen, die aangeeft hoeveel mensen gemiddeld hebben.
Ik heb het nu gedaan op de hierboven beschreven manier voor begrip X. Ik ga dat ook nog doen voor begrip Y en daarna kan ik ze met elkaar gaan vergelijken.
Ik gebruik overigens een schaal gebaseerd op gemiddelde scores. Zoals iemand al eerder zei, is dat beter, omdat je bij somscores vaak te laag zit als iemand missings heeft. Neem je gemiddelde scores, dan worden die missings "geneutraliseerd". Mijn schaal is de gemiddelde score (tussen 0 en 1) over 28 vragen.
Ik wil alleen graag ook iets zeggen over de betrouwbaarheid van de schalen. Met SPSS kan je daarvoor de Reliability Analysis gebruiken. Je selecteert dan alle variabelen (in mijn geval 28 vragen) en dan krijg je via de Cronbach's alpha te zien of je schaal betrouwbaar is (valide is een ander verhaal...). Een C alpha van 0.8 of hoger is goed en van 0.6 is ongeveer de minimum vereiste.
Probleem is echter dat wanneer een case/respondent een missing value heeft op 1 van de 28 vragen (wat bij mij heel vaak het geval is), deze case wordt weggelaten uit de analyse. Gevolg is dat ik er bij het berekenen maar 7 van de oorspronkelijke 1403 respondenten worden gebruikt
. Dit gebeurt bij mij o.a. doordat ik de "weet niet" scores als missing heb behandeld. Als ik die i.p.v. missing als neutraal behandel (een 0.5 score, aangezien mijn schaal tussen de 0 en 1 is), dan worden er al wat meer cases gebruikt, maar nog steeds heel weinig (65 ofzo).
Een belangrijker oorzaak van dit probleem is het volgende: 2 van de 28 vragen zijn "vervolgvragen". Die vragen hoeven alleen maar ingevuld te worden als er op eerdere vragen "ja" is geantwoord. Veel mensen hebben die vragen dus niet ingevuld, ergo: dat worden missings en de cases worden uitgesloten van de analyse. In feite zijn dit geen "echte" missings. Twee oplossingen: (1) deze vragen niet in de schaal opnemen als de betrouwbaarheid wordt getest, of (2) de dataset hercoderen. Met dit hercoderen bedoel ik dat er gekeken wordt in de dataset of er op de beginvragen een "ja" is geantwoord, is dat niet het geval, dan worden die 2 vragen waar het om gaat gehercodeerd als neutraal (0.5), zodat ze niet meer missing zijn, maar een waarde krijgen.
In beide gevallen wordt bij het testen op betrouwbaarheid meer dan 90% van de cases meegenomen, wat natuurlijk een beter beeld geeft.
Dus:
(1) Hoe moet ik mijn schaal testen op betrouwbaarheid?
a. alle 28 vragen, "weet niet" = missing
b. alle 28 vragen, "weet niet" = neutraal (0.5 score)
c. alle 28 vragen, 2 vragen gehercodeerd (missings, zijn nepmissings en worden neutraal)
d. niet alle vragen, 2 vragen eruit, 26 vragen over
(2) Welke schaal kan ik het beste gebruiken in de verdere analyses (regressie e.d.)?
Is het erg als ik een schaal gebruik, waarvan de betrouwbaarheid niet getest kan worden? Stel ik gebruik schaal a of b. Die zijn eigenlijk niet te testen. Via bovenstaande bewerkingen is wel aan te tonen dat de 28 vragen samenhangen (de alpha verandert niet veel door de bewerkingen, het enige is dat er veel meer cases worden gebruikt bij de laatste 2). Ik gebruik dan dus voor de (regressie)analyses een bepaalde schaal en om aan te tonen dat die vragen/items überhaupt zijn te combineren tot 1 schaal gebruik ik die bewerkingen. Kan dat?
Excuses voor de lange post trouwens!
"On a good day, when I run, the voices in my head get quieter until it’s just me, my breath and my feet on the sand (Dexter, E5x09)."