Kort svar: Reliabilitet handler om hvor pålitelig og konsistent en måling er. Validitet handler om hvor godt det er grunnlag for tolkningene og bruken av resultatene: måler vi det vi ønsker å måle? En måling kan være svært stabil og likevel gi feil bilde. God reliabilitet alene sikrer derfor ikke god validitet.
Validitet og reliabilitet er sentrale begreper i forskningsmetode. Her får du forskjellen forklart med en enkel analogi, de viktigste typene og eksempler på feilkilder. Hvor mye det betyr i praksis, viser replikasjonskrisen i psykologien.
Målskive-analogien
Tenk deg at du skyter piler mot en blink. Da finnes det fire mulige utfall:
- Pilene treffer spredt og utenfor sentrum: verken reliabel eller valid. Målingen er både ustabil og bommer på det den skal måle.
- Pilene sitter tett samlet, men langt fra sentrum: reliabel, men ikke valid. Du måler noe konsistent, bare ikke det du skulle måle.
- Pilene er spredt rundt sentrum: enkelttreffene er lite presise, selv om gjennomsnittet kan ligge nær sentrum. Analogien viser hvorfor tilfeldige feil gjør hver enkelt måling usikker.
- Pilene sitter tett samlet i sentrum: både reliabel og valid. Dette er målet.
Utfall 2 er det viktigste å forstå: en vekt som konsekvent viser to kilo for mye, er svært reliabel, men har en systematisk feil som gjør den lite gyldig som mål på faktisk vekt. Presisjon er noe annet enn treffsikkerhet. Merk også at validitet ikke er et ja/nei-stempel på selve instrumentet: den samme vekta kan være gyldig nok til å måle vektendring over tid, samtidig som den bommer på absolutt vekt. Validitet vurderes alltid for en bestemt tolkning og bruk av målingen.
Hva er validitet?
Validitet er spørsmålet om gyldighet: måler undersøkelsen det den er ment å måle, og holder konklusjonene vi trekker? I psykologi er dette ekstra krevende fordi vi ofte måler abstrakte begreper (intelligens, angst, motivasjon) som må operasjonaliseres, altså oversettes til noe konkret målbart. Det er i den oversettelsen gyldigheten kan glippe.
Tre hovedformer er sentrale i pensum:
Begrepsmessig validitet: Fanger operasjonaliseringen faktisk begrepet? Her hører underspørsmål som om testen ser ut til å måle det den skal (face-validitet), om den samsvarer med andre mål på samme begrep (konvergent validitet), om den skiller seg fra mål på andre begreper (diskriminant validitet), og om den predikerer relevante utfall, som når en IQ-test sjekkes mot skolekarakterer (kriterievaliditet).
Intern validitet: Har vi grunnlag for å si at én variabel påvirker en annen? En trussel er konfunderende variabler som kan forklare sammenhengen vi observerer. Tilfeldig fordeling til grupper i et eksperiment reduserer risikoen for systematiske forskjeller mellom gruppene. Det garanterer likevel ikke at de blir helt like, eller at studien er fri for andre feilkilder.
Ekstern validitet: Kan resultatene generaliseres til andre personer, situasjoner eller tidspunkter? Utvalgsmetoden har betydning: sannsynlighetsutvalg gir ofte et bedre grunnlag for å generalisere til en definert populasjon enn bekvemmelighetsutvalg. Vi må også vurdere blant annet frafall og hvor godt studiesituasjonen ligner sammenhengen vi vil si noe om.
Hva er reliabilitet?
Reliabilitet er spørsmålet om pålitelighet: er målingen konsistent og fri for tilfeldige feil? Pensum trekker frem tre former, avhengig av hva slags konsistens du er ute etter:
Test-retest-reliabilitet: Samme test på samme personer på to tidspunkter, hvor likt blir resultatet? Utfordringen er at avvik ikke alltid betyr dårlig test: folk kan huske svarene sine, lære av testen, eller faktisk ha endret seg mellom målingene.
Indre konsistens: Hvor godt henger spørsmålene i en test sammen? I en angsttest forventer vi at spørsmål som skal måle samme side av angst, gir sammenhengende svar. Indre konsistens er egenskapen vi undersøker. Split-half sammenligner to halvdeler av testen, mens Cronbachs alfa er et vanlig mål basert på sammenhengen mellom spørsmålene. Høy alfa er ikke i seg selv bevis på at testen måler ett fenomen eller har god validitet.
Interrater-reliabilitet: Hvor enige er ulike bedømmere? To observatører kan for eksempel kode barns atferd i de samme kategoriene. Da kan vi undersøke prosent enighet eller Cohens kappa, som tar hensyn til forventet tilfeldig enighet. Valg av mål avhenger av typen data. Høy korrelasjon alene viser ikke at bedømmerne gir samme skår: én kan konsekvent ligge to poeng over den andre.
Fem feilkilder som truer reliabiliteten
Tilfeldige målefeil kommer sjelden av ren uflaks. Pensum peker på fem typiske kilder: intervjuereffekter (den som stiller spørsmålene, påvirker svarene), svakheter ved selve måleverktøyet, forhold ved respondenten (en deltaker som er trøtt, stresset eller påvirket svarer annerledes), konteksten målingen skjer i (et arbeidsmiljøspørsmål besvares annerledes med sjefen i rommet), og rene dataregistreringsfeil.
Legg merke til at flere av disse også kan true validiteten: en intervjuereffekt som systematisk vrir svarene i én retning, er ikke lenger tilfeldig støy, men en skjevhet.
Validitet og reliabilitet sammenlignet
| Sammenligning | Reliabilitet | Validitet |
|---|---|---|
| Grunnspørsmål | Er målingen pålitelig og konsistent? | Måler vi det vi skal, og holder tolkningene? |
| Norsk begrep | Pålitelighet | Gyldighet |
| Trues av | Tilfeldige målefeil | Systematiske skjevheter, dårlig operasjonalisering, konfunderende variabler |
| Vurderes med | Test-retest, indre konsistens (split-half, Cronbachs alfa), interrater (Cohens kappa) | Begrepsmessig, intern og ekstern validitet, alltid for en bestemt tolkning og bruk |
| I målskive-analogien | Hvor tett pilene sitter | Hvor nær sentrum de treffer |
| Forholdet mellom dem | Tilstrekkelig reliabilitet er nødvendig for en pålitelig tolkning | Reliabilitet sikrer ikke validitet alene |
Kort oppsummert
Reliabilitet handler om konsistens, mens validitet handler om grunnlaget for tolkningene og konklusjonene våre. Reliabilitet kan undersøkes gjennom test-retest, indre konsistens og enighet mellom bedømmere. Validitet vurderes blant annet som begrepsmessig, intern og ekstern validitet. Begge må vurderes ut fra hva målingen skal brukes til. En stabil måling kan fortsatt være systematisk feil.
Ofte stilte spørsmål
Hva er forskjellen på validitet og reliabilitet?
Kan noe være reliabelt uten å være valid?
Hva er intern og ekstern validitet?
Hva er Cohens kappa?
Hva betyr det å operasjonalisere et begrep?
Vil du se temaene forklart på video? Se Introduksjon til validitet og reliabilitet, Begrepsvaliditet, Intern og ekstern validitet og Reliabilitet og feilkilder i kurset Psykologisk forskningsmetode
Validitet og reliabilitet er verktøy for å vurdere forskning. Les også artikkelen vår om hvorfor vitenskapelig metode og kritisk tenkning er viktig.
PSY1111, PSYK4111
Psykologisk forskningsmetode – NTNU
