Statistisk analyse: Signifikans og konfidensintervaller
Du har derfor brug for en måde at måle, hvor sikker du er på, at dit resultat er nøjagtigt og ikke blot er opstået ved en tilfældighed. Statistikere bruger to forbundne begreber til dette: tillid og signifikans.
Denne side forklarer disse begreber.
Statistisk signifikans
Begrebet signifikans har en helt særlig betydning i statistik. Det fortæller dig, hvor sandsynligt det er, at dit resultat ikke er opstået ved en tilfældighed.
I diagrammet repræsenterer den blå cirkel hele populationen. Når du tager en stikprøve, kan din stikprøve være fra hele populationen. Det er dog mere sandsynligt, at den er mindre. Hvis det hele er fra inden for den gule cirkel, vil du have dækket en ret stor del af populationen. Men du kan også være uheldig (eller have udformet din prøveudtagningsprocedure dårligt) og kun udtage en prøve fra den lille røde cirkel. Det ville have alvorlige konsekvenser for, om din stikprøve var repræsentativ for hele populationen.
En af de bedste måder at sikre, at du dækker en større del af populationen, er at bruge en større stikprøve. Din stikprøvestørrelse påvirker i høj grad nøjagtigheden af dine resultater (og der er mere om dette på vores side om stikprøveudtagning og stikprøvedesign).
Et andet element påvirker imidlertid også nøjagtigheden: variationen inden for selve populationen. Du kan vurdere dette ved at se på mål for spredningen af dine data (og du kan læse mere om dette på vores side om Enkel statistisk analyse). Hvor der er mere variation, er der større chance for, at du vælger en stikprøve, der ikke er typisk.
Begrebet signifikans bringer simpelthen stikprøvestørrelse og populationsvariation sammen og foretager en numerisk vurdering af chancerne for, at du har begået en stikprøvefejl: dvs. at din stikprøve ikke repræsenterer din population.
Signifikans udtrykkes som en sandsynlighed for, at dine resultater er opstået ved en tilfældighed, almindeligvis kendt som en p-værdi. Du søger generelt at få den til at være mindre end en bestemt værdi, normalt enten 0,05 (5 %) eller 0,01 (1 %), selv om nogle resultater også angiver 0,10 (10 %).
Null- og alternativhypotese
Når du udfører et eksperiment eller en markedsundersøgelse, ønsker du generelt at vide, om det, du gør, har en effekt. Du kan derfor udtrykke det som en hypotese:
-x vil have en virkning på y.
Dette er i statistikken kendt som den “alternative hypotese”, ofte kaldet H1.
Den “nulhypotese”, eller H0, er, at x ikke har nogen virkning på y.
Statistisk set er formålet med signifikanstestning at se, om dine resultater tyder på, at du skal forkaste nulhypotesen – i så fald er det mere sandsynligt, at den alternative hypotese er sand.
Hvis dine resultater ikke er signifikante, kan du ikke forkaste nulhypotesen, og du må konkludere, at der ikke er nogen effekt.
P-værdien er sandsynligheden for, at du ville have opnået de resultater, du har fået, hvis din nulhypotese er sand.
Beregning af signifikans
En måde at beregne signifikans på er ved at bruge en z-score. Dette beskriver afstanden fra et datapunkt til middelværdien i form af antallet af standardafvigelser (for mere om middelværdi og standardafvigelse, se vores side om simpel statistisk analyse).
For en simpel sammenligning beregnes z-score ved hjælp af formlen:
$$z=\frac{x – \mu}{\sigma}$$$$
hvor \(x\) er datapunktet, \(\mu\) er middelværdien af populationen eller fordelingen, og \(\sigma\) er standardafvigelsen.
Så lad os f.eks. antage, at vi ønsker at teste, om en spilapp var mere populær end andre spil. Lad os sige, at den gennemsnitlige spilapp downloades 1000 gange med en standardafvigelse på 110. Vores spil er blevet downloadet 1200 gange. Dets z-score er:
$$z=\frac{1200-1000}{110}=1,81$$$
En højere z-score signalerer, at det er mindre sandsynligt, at resultatet er opstået ved en tilfældighed.
Du kan bruge en statistisk standard z-tabel til at konvertere din z-score til en p-værdi. Hvis din p-værdi er lavere end dit ønskede signifikansniveau, er dine resultater signifikante.
Ved hjælp af z-tabellen konverteres z-scoren for vores spilapp (1,81) til en p-værdi på 0,9649. Dette er bedre end vores ønskede niveau på 5 % (0,05) (fordi 1-0,9649 = 0,0351, eller 3,5 %), så vi kan sige, at dette resultat er signifikant.
Bemærk, at der er en lille forskel for en stikprøve fra en population, hvor z-score beregnes ved hjælp af formlen:
$$z=\frac{(x-\mu)}{(\sigma/\sqrt n)}$$$
hvor x er datapunktet (normalt din stikprøves middelværdi), µ er middelværdien af populationen eller fordelingen, σ er standardafvigelsen, og √n er kvadratroden af stikprøvestørrelsen.
Et eksempel vil gøre dette tydeligere.
Sæt, at du undersøger, om biologistuderende har en tendens til at få bedre karakterer end deres jævnaldrende, der studerer andre fag. Du kan finde ud af, at den gennemsnitlige prøvekarakter for en stikprøve på 40 biologer er 80, med en standardafvigelse på 5, sammenlignet med 78 for alle studerende på det pågældende universitet eller den pågældende skole.
$$z=\frac{(80-78)}{(5/\sqrt 40)}=2,53$$$
Hvis man anvender z-tabellen, svarer 2,53 til en p-værdi på 0,9943. Du kan trække dette fra 1 for at få 0,0054. Dette er mindre end 1 %, så vi kan sige, at dette resultat er signifikant på 1 %-niveau, og at biologer opnår bedre resultater i prøver end den gennemsnitlige studerende på dette universitet.
Bemærk, at dette ikke nødvendigvis betyder, at biologer er klogere eller bedre til at bestå prøver end dem, der studerer andre fag. Det kunne faktisk betyde, at prøverne i biologi er lettere end prøverne i andre fag. At finde et signifikant resultat er IKKE bevis for årsagssammenhæng, men det fortæller dig, at der måske er et problem, som du ønsker at undersøge.
Der er mere om at teste for signifikans af stikprøvens gennemsnit og om at teste forskelle mellem grupper på vores side om udvikling og test af hypoteser.
Vidensintervaller
Et konfidensinterval (eller konfidensniveau) er et interval af værdier, hvor der er en given sandsynlighed for, at den sande værdi ligger inden for det.
Effektivt måler det, hvor sikker du er på, at gennemsnittet af din stikprøve (stikprøvens gennemsnit) er det samme som gennemsnittet af den samlede population, som din stikprøve er taget fra (populationens gennemsnit).
Til eksempel, hvis dit gennemsnit er 12,4, og dit 95 % konfidensinterval er 10,3-15,6, betyder det, at du er 95 % sikker på, at den sande værdi af din populationens gennemsnit ligger mellem 10,3 og 15,6. Med andre ord er den måske ikke 12,4, men du er rimelig sikker på, at den ikke er meget anderledes.
Diagrammet nedenfor viser dette i praksis for en variabel, der følger en normalfordeling (for mere om dette, se vores side om statistiske fordelinger).
Den præcise betydning af et konfidensinterval er, at hvis du skulle udføre dit eksperiment mange, mange gange, ville 95 % af de intervaller, som du konstruerede ud fra disse eksperimenter, indeholde den sande værdi. Med andre ord ville dit interval i 5 % af dine eksperimenter IKKE indeholde den sande værdi.
Du kan se på diagrammet, at der er 5 % chance for, at konfidensintervallet ikke omfatter populationens middelværdi (de to “haler” på 2,5 % på hver side). Med andre ord vil den værdi, som vi får for konfidensintervallet, i en ud af 20 prøver eller eksperimenter ikke omfatte den sande middelværdi: populationens middelværdi vil faktisk falde uden for konfidensintervallet.
Beregning af konfidensintervallet
Beregning af et konfidensinterval bruger dine prøveværdier og nogle standardmål (middelværdi og standardafvigelse) (og for mere om, hvordan du beregner disse, se vores side om simpel statistisk analyse).
Det er nemmest at forstå med et eksempel.
Sæt, at vi udtog en stikprøve af højden af en gruppe på 40 personer og fandt ud af, at gennemsnittet var 159,1 cm, og at standardafvigelsen var 25,4.
Standardafvigelse for konfidensintervaller
I virkeligheden ville du bruge populationens standardafvigelse til at beregne konfidensintervallet. Det er dog meget usandsynligt, at du ville vide, hvad dette var.
Godt nok kan du bruge stikprøvens standardafvigelse, forudsat at du har en tilstrækkelig stor stikprøve. Man er generelt enig om, at grænseværdien er en stikprøve på 30 eller mere, men jo større, jo bedre.
Vi skal finde ud af, om vores gennemsnit er et rimeligt skøn over højden for alle mennesker, eller om vi har valgt en særlig høj (eller kort) stikprøve.
Vi bruger en formel til at beregne et konfidensinterval. Denne er:
$$middelværdi \pm z \frac{(SD)}{\sqrt n}}$$$
Hvor SD = standardafvigelse, og n er antallet af observationer eller stikprøvens størrelse.
Z-værdien er taget fra statistiske tabeller for vores valgte referencefordeling. Disse tabeller giver z-værdien for et bestemt konfidensinterval (f.eks. 95 % eller 99 %).
I dette tilfælde måler vi menneskers højder, og vi ved, at befolkningens højder følger en (stort set) normalfordeling (se mere herom på vores side om statistiske fordelinger).
Vi kan derfor bruge værdierne for en normalfordeling.
Z-værdien for et 95% konfidensinterval er 1,96 for normalfordelingen (taget fra statistiske standardtabeller).
Ved anvendelse af ovenstående formel er 95% konfidensintervallet derfor:
$$$159,1 \pm 1,96 \frac{(25,4)}{\sqrt 40}}$$$
Når vi udfører denne beregning, finder vi, at konfidensintervallet er 151,23-166,97 cm. Det er derfor rimeligt at sige, at vi derfor er 95 % sikre på, at populationsgennemsnittet ligger inden for dette interval.
Forståelse af z-score eller z-værdi
Z-score er et mål for standardafvigelser fra gennemsnittet. I vores eksempel ved vi derfor, at 95 % af værdierne vil ligge inden for ± 1,96 standardafvigelser fra gennemsnittet:
Vurdering af dit konfidensinterval
Som en generel tommelfingerregel er det bedre med et lille konfidensinterval. Konfidensintervallet bliver smallere, efterhånden som din stikprøvestørrelse øges, hvorfor en større stikprøve altid er at foretrække. Som vores side om stikprøveudtagning og stikprøvedesign forklarer, ville dit ideelle eksperiment omfatte hele populationen, men det er normalt ikke muligt.
Konklusion
Vidensintervaller og signifikans er standardmetoder til at vise kvaliteten af dine statistiske resultater. Du forventes at rapportere dem rutinemæssigt, når du udfører en statistisk analyse, og du bør generelt rapportere præcise tal. Dette vil sikre, at din forskning er gyldig og pålidelig.