Jeg og forskerkollegaer fra Universitetet i Tromsø, Yale og University of Washington viser i en nylig publiserte studie i tidsskriftet Psychiatry Research til utbredte misforståelser og misbruk av statistikk innen helse- og samfunnsvitenskapene.
Feil praksis over lang tid
Problemet har vært kjent for mange i flere tiår men likevel har en feil praksis vedvart. De siste fem årene har ting imidlertid bedret seg men flere av vitenskapene befinner seg fortsatt i en slags krise der tidligere funn kan og bør stilles spørsmål til. Problemet er at statistikken som ofte brukes og som gjerne blir tatt til inntekt for å belyse årsakssammenhenger faktisk ikke gjør det i det hele tatt.
Forfatterne presenterer i artikkelen mulige og mer passende statistiske alternativer.
- Les også: How researchers dupe the public with a sneaky practice called "outcome switching" (www.vox.com)
Må vise sammenlignende statistikk for å vurdere rett behandling
Dersom man ønsker å gjøre studier for å undersøke effekten av for eksempel to ulike hjertemedisiner, kreftbehandlinger, eller effekt av ulike tiltak for barn med Autismespekterforstyrrelse, er det viktig å i etterkant sammenligne gruppene som mottok ulik behandling med statistikk som viser hvordan gruppene endret seg.
Dette er avgjørende for hvordan man skal kunne vurdere effekten av behandling og tiltak. Forskere beregner ofte om resultatene fra undersøkelsen er «statistisk signifikante» ved hjelp av en såkalt p-verdi. Det vil si hvor stor sannsynlighet det er for at det vi observerer i en analyse er en tilfeldig egenskap ved det utvalget vi studerer, heller enn å være en egenskap som gjelder for hele populasjonen.
- Les også: What a nerdy debate about p-values shows about science — and how to fix it (www.vox.com)
Har vurdert alternativer til klassisk signifikanttesting
I studien det her vises til blir alternativer til klassisk signifikanstesting presentert og vurdert. Disse statistiske alternativene adresserer den faktiske effekten av tiltak og er i så måte et mye bedre mål på om tiltak faktisk har fungert og hvor mye bedre ett tiltak er framfor ett annet.
Feilvurderingen kan få store konsekvenser
De fleste tidsskrifter vil i dag kreve at tiltaks- og behandlingsstudier i tillegg til p-verdier rapporterer effektstørrelser, som for eksempel gjennomsnitttsforskjellen mellom to grupper før og etter tiltaket. Likevel forekommer misbruk og misforståelser om hva p-verdier faktisk gir av informasjon, eller rettere sagt informasjon det ikke gir.
Mye av den undervisningen som gis studenter på alle nivåer henger også etter ved å legge større vekt på p-verdier og signifikanstesting sammenlignet med mål på effektstørrelse.
Videre kan forskeres fremstilling av sine resultater som «statistisk signifikante» misforstås og tolkes av lesere av forskning som at tiltaket og behandlingen har bevist effekt.
Konsekvenser kan for eksempel bli at ulike aktører i helse og utdanningssektoren anbefaler behandlinger på mildt sagt sviktende bevisgrunnlag.
Artikkelen “Enhancing the understanding of clinically meaningful results: A clinical research perspective» er åpent tilgjenglig for alle.
Kontaktperson: Anders Nordahl-Hansen, professor i spesialpedagogikk
Avdeling for Lærerutdanning
Høgskolen i Østfold