En vægt, der konsekvent viser to kilo for meget, er fuldstændig pålidelig — og lige så konsekvent forkert. Det er hele forskellen på reliabilitet og validitet, og forvekslingen af de to er en af de hyppigste årsager til, at undersøgelser fører til forkerte beslutninger: Tallene så stabile ud, så ingen spurgte, om de målte det rigtige. Her er begge begreber, skydeskiven, der samler dem — og en tjekliste til dine egne undersøgelser.
Hvad er validitet?
Validitet er spørgsmålet om gyldighed: Måler undersøgelsen faktisk det begreb, den påstår at måle? Spørger du “vil du anbefale os?” og bruger svaret som mål for tilfredshed, måler du strengt taget noget andet — anbefalingsvilje. Klassiske validitetstrusler: ledende spørgsmål (svaret ligger i formuleringen), skæve stikprøver (de tilfredse svarer, de utilfredse er gået), forkerte indikatorer (kliks som mål for interesse) og social ønskværdighed (folk svarer det, der ser pænt ud — sammenlign hvad folk siger om økologi med, hvad kassebonen viser).
Hvad er reliabilitet?
Reliabilitet er spørgsmålet om pålidelighed: Ville målingen give samme resultat, hvis den blev gentaget — af en anden, på et andet tidspunkt, med samme metode? Trusler mod reliabiliteten er alt det, der støjer: upræcise eller flertydige spørgsmål (forstås forskelligt fra svar til svar), skiftende indsamlingsmetode (telefon i uge 1, webskema i uge 2), små stikprøver (tilfældigheder slår igennem) og uklare måleprocedurer (to interviewere, der spørger forskelligt). Lav reliabilitet ses som resultater, der hopper, uden at virkeligheden har flyttet sig.
Forskellen — og hvorfor begge skal være på plads
Skydeskiven siger det hele: Reliabilitet er, at skuddene sidder samlet; validitet er, at de sidder i centrum. Deraf følger de to vigtige asymmetrier: Høj reliabilitet beviser ikke validitet — vægten med de to kilo rammer samme forkerte sted hver gang. Og uden reliabilitet kan validiteten ikke engang vurderes — spredte, støjende målinger rammer højst centrum ved et tilfælde. I praksis betyder det: Tjek reliabiliteten først (er tallene stabile?), og stil derefter validitetsspørgsmålet (måler de det rigtige?).
Validitet og reliabilitet i kvantitative og kvalitative undersøgelser
I kvantitative undersøgelser er kravene formaliserede: repræsentative stikprøver, testede spørgsmålsformuleringer og standardiseret indsamling — de tre krav (repræsentativitet, validitet, reliabilitet) hænger sammen. I kvalitative undersøgelser oversættes begreberne: Validitet handler om, hvorvidt fortolkningen er dækkende for det, deltagerne faktisk mente (og styrkes med citater og opfølgende spørgsmål), mens reliabilitet handler om gennemsigtighed — kan andre følge vejen fra rådata til konklusion? Kombineres metoderne, kan de validere hinanden: Interviewene tester, om spørgeskemaet spørger om det rigtige, og skemaet tester, om interviewfundene gælder bredt.
Tjekliste: fem spørgsmål før du stoler på en undersøgelse
- Måler indikatoren begrebet? Skriv med egne ord, hvad hvert spørgsmål skal fange — og læs så spørgsmålet igen.
- Er spørgsmålene neutrale og entydige? Ét spørgsmål ad gangen, ingen ladede ord, ingen dobbeltspørgsmål.
- Ligner stikprøven populationen? Og lige så vigtigt: Hvem har ikke svaret?
- Er indsamlingen ens for alle? Samme metode, samme periode, samme procedure.
- Ville en gentagelse give samme svar? Hvis du tøver, er det reliabiliteten, der mangler.
Ofte stillede spørgsmål
Hvad er forskellen på validitet og reliabilitet?
Validitet er, om undersøgelsen måler det rigtige (gyldighed); reliabilitet er, om målingen er stabil og kan gentages med samme resultat (pålidelighed). Skydeskiven: valid = i centrum, reliabel = samlet.
Kan en undersøgelse være reliabel uden at være valid?
Ja — en vægt, der konsekvent viser to kilo for meget, er reliabel (samme resultat hver gang) men ikke valid (resultatet er forkert). Omvendt kan en måling ikke være valid uden rimelig reliabilitet.
Hvad er høj validitet?
At undersøgelsens spørgsmål og indikatorer faktisk fanger det begreb, der skal måles — uden ledende formuleringer, skæve stikprøver eller forkerte mål.
Gælder begreberne også kvalitative undersøgelser?
Ja, i oversat form: Validitet bliver spørgsmålet, om fortolkningen er dækkende, og reliabilitet bliver gennemsigtighed i vejen fra data til konklusion.
