Analiza statystyczna: Significance and Confidence Intervals
W każdej analizie statystycznej, prawdopodobnie będziesz pracował z próbką, a nie z danymi z całej populacji. Twój wynik może zatem nie reprezentować całej populacji – i może być w rzeczywistości bardzo niedokładny, jeśli próbka nie była bardzo dobra.
Potrzebujesz zatem sposobu pomiaru, jak bardzo jesteś pewien, że twój wynik jest dokładny i nie pojawił się po prostu przez przypadek. Statystycy używają do tego dwóch powiązanych pojęć: pewności i istotności.
Ta strona wyjaśnia te pojęcia.
Statystyczne znaczenie
Termin znaczenie ma bardzo szczególne znaczenie w statystyce. Mówi, jak prawdopodobne jest, że wynik nie jest przypadkowy.
Na diagramie niebieski okrąg reprezentuje całą populację. Kiedy pobierasz próbkę, twoja próbka może pochodzić z całej populacji. Jest jednak bardziej prawdopodobne, że będzie ona mniejsza. Jeśli cała próbka pochodzi z żółtego koła, obejmuje ona znaczną część populacji. Jednakże, można też mieć pecha (lub źle zaprojektować procedurę pobierania próbek) i pobierać próbki tylko z małego czerwonego kółka. Miałoby to poważne implikacje dla tego, czy Państwa próba była reprezentatywna dla całej populacji.
Jednym z najlepszych sposobów zapewnienia, że pokrywają Państwo większą część populacji jest użycie większej próby. Wielkość próby silnie wpływa na dokładność wyników (więcej na ten temat można przeczytać na stronie Próbkowanie i projektowanie próby).
Jednakże na dokładność wpływa również inny element: zmienność w samej populacji. Możesz to ocenić, patrząc na miary rozrzutu twoich danych (więcej na ten temat znajdziesz na naszej stronie Prosta analiza statystyczna). Tam gdzie jest większe zróżnicowanie, jest większa szansa, że wybierzesz próbkę, która nie jest typowa.
Pojęcie istotności po prostu łączy wielkość próbki i zróżnicowanie populacji i dokonuje liczbowej oceny szans, że popełniłeś błąd w próbkowaniu: to znaczy, że twoja próbka nie reprezentuje twojej populacji.
Istotność jest wyrażona jako prawdopodobieństwo, że twoje wyniki wystąpiły przypadkowo, powszechnie znane jako wartość p. Zazwyczaj oczekuje się, że będzie ona mniejsza niż określona wartość, zazwyczaj 0,05 (5%) lub 0,01 (1%), chociaż niektóre wyniki podają również 0,10 (10%).
Hipoteza zerowa i alternatywna
Podczas przeprowadzania eksperymentu lub badania rynku, zazwyczaj chce się wiedzieć, czy to, co się robi, ma jakiś efekt. Można zatem wyrazić to jako hipotezę:
-x będzie miało wpływ na y.
To jest znane w statystyce jako „hipoteza alternatywna”, często nazywana H1.
Hipoteza zerowa”, lub H0, jest taka, że x nie ma wpływu na y.
Statystycznie rzecz biorąc, celem testowania istotności jest sprawdzenie, czy wyniki sugerują, że należy odrzucić hipotezę zerową – w takim przypadku hipoteza alternatywna jest bardziej prawdopodobna.
Jeśli twoje wyniki nie są znaczące, nie możesz odrzucić hipotezy zerowej i musisz stwierdzić, że nie ma żadnego efektu.
Wartość p jest prawdopodobieństwem, że uzyskałbyś wyniki, które uzyskałeś, gdyby hipoteza zerowa była prawdziwa.
Obliczanie istotności
Jednym ze sposobów obliczania istotności jest użycie z-score. Opisuje on odległość od punktu danych do średniej, w kategoriach liczby odchyleń standardowych (więcej o średniej i odchyleniu standardowym, zobacz naszą stronę o Prostej Analizie Statystycznej).
Dla prostego porównania, z-score jest obliczany przy użyciu wzoru:
$$z=frac{x – ™mu}{sigma}$$
gdzie ™(x) jest punktem danych, ™(™mu) jest średnią populacji lub rozkładu, a ™(™sigma} jest odchyleniem standardowym.
Na przykład załóżmy, że chcemy sprawdzić, czy dana aplikacja do gier jest bardziej popularna niż inne gry. Załóżmy, że przeciętna aplikacja do gier jest pobierana 1000 razy, a odchylenie standardowe wynosi 110. Nasza gra została pobrana 1200 razy. Jej z score wynosi:
$$z===frac{1200-1000}{110}=1.81$$$
Wyższy z-score sygnalizuje, że wynik jest mniej prawdopodobny, że wystąpił przypadkowo.
Możesz użyć standardowej statystycznej tabeli z, aby przekonwertować swój z-score na p-wartość. Jeśli wartość p jest niższa niż pożądany poziom istotności, wtedy twoje wyniki są znaczące.
Używając tabeli z, z-score dla naszej aplikacji do gier (1.81) konwertuje do wartości p 0.9649. Jest to lepsze niż nasz pożądany poziom 5% (0,05) (ponieważ 1-0,9649 = 0,0351, lub 3,5%), więc możemy powiedzieć, że ten wynik jest znaczący.
Zauważ, że istnieje niewielka różnica dla próbki z populacji, gdzie z-score jest obliczany przy użyciu wzoru:
$$z=frac{(x-mu)}{(√sigma/√n)}$$
gdzie x jest punktem danych (zwykle średnia z próbki), µ jest średnią populacji lub rozkładu, σ jest odchyleniem standardowym, a √n jest pierwiastkiem kwadratowym z wielkości próbki.
Przykład wyjaśni to lepiej.
Załóżmy, że sprawdzasz, czy studenci biologii mają tendencję do uzyskiwania lepszych ocen niż ich rówieśnicy studiujący inne przedmioty. Może się okazać, że średnia ocena z testu dla próby 40 biologów wynosi 80, przy odchyleniu standardowym 5, w porównaniu z 78 dla wszystkich studentów na tym uniwersytecie lub w tej szkole.
$$z=frac{(80-78)}{(5/ sqrt 40)}=2.53$$$
Używając tabeli z, 2.53 odpowiada wartości p równej 0.9943. Możesz odjąć to od 1, aby otrzymać 0,0054. Jest to wartość mniejsza niż 1%, więc możemy powiedzieć, że wynik ten jest istotny na poziomie 1%, a biolodzy uzyskują lepsze wyniki w testach niż przeciętni studenci tej uczelni.
Zauważmy, że nie musi to oznaczać, że biolodzy są mądrzejsi lub lepiej zdają testy niż studenci innych kierunków. W rzeczywistości może to oznaczać, że testy z biologii są łatwiejsze niż te z innych przedmiotów. Znalezienie znaczącego wyniku NIE jest dowodem związku przyczynowego, ale mówi nam, że może istnieć problem, który chcemy zbadać.
Więcej na temat testowania istotności średnich z próby oraz testowania różnic między grupami można znaleźć na naszej stronie dotyczącej tworzenia i testowania hipotez.
Przedziały ufności
Przedział ufności (lub poziom ufności) jest zakresem wartości, które mają określone prawdopodobieństwo, że prawdziwa wartość leży w jego obrębie.
Efektywnie, to mierzy jak pewny jesteś, że średnia twojej próbki (średnia próbki) jest taka sama jak średnia całej populacji, z której twoja próbka została wzięta (średnia populacji).
Na przykład, jeśli twoja średnia jest 12.4, a twój 95% przedział ufności jest 10.3-15.6, oznacza to, że jesteś 95% pewny, że prawdziwa wartość twojej średniej populacji leży pomiędzy 10.3 i 15.6. Innymi słowy, może to nie być 12,4, ale jesteś w miarę pewny, że nie jest bardzo różna.
Poniższy diagram pokazuje to w praktyce dla zmiennej, która podąża za rozkładem normalnym (więcej o tym, zobacz naszą stronę o rozkładach statystycznych).
Precyzyjne znaczenie przedziału ufności jest takie, że jeśli miałbyś przeprowadzić swój eksperyment wiele, wiele razy, 95% przedziałów, które skonstruowałeś z tych eksperymentów, zawierałoby prawdziwą wartość. Innymi słowy, w 5% twoich eksperymentów, twój przedział NIE zawierałby prawdziwej wartości.
Widzisz z diagramu, że istnieje 5% szansy, że przedział ufności nie zawiera średniej populacji (dwa „ogony” 2,5% po obu stronach). Innymi słowy, w jednej na 20 próbek lub eksperymentów, wartość, którą otrzymamy dla przedziału ufności nie będzie zawierała prawdziwej średniej: średnia populacji będzie w rzeczywistości poza przedziałem ufności.
Obliczanie przedziału ufności
Obliczanie przedziału ufności wykorzystuje wartości próbek i pewne standardowe miary (średnia i odchylenie standardowe) (więcej o tym, jak je obliczyć, zobacz naszą stronę Prosta analiza statystyczna).
Najłatwiej jest to zrozumieć na przykładzie.
Załóżmy, że pobraliśmy próbkę wzrostu grupy 40 osób i stwierdziliśmy, że średnia wynosi 159,1 cm, a odchylenie standardowe 25,4.
Odchylenie standardowe dla przedziałów ufności
Idealnie, użylibyśmy odchylenia standardowego populacji do obliczenia przedziału ufności. Jest jednak bardzo mało prawdopodobne, że wiedziałbyś, co to było.
Na szczęście, możesz użyć odchylenia standardowego próbki, pod warunkiem, że masz wystarczająco dużą próbkę. Ogólnie przyjmuje się, że punktem odcięcia jest próbka o wielkości 30 lub więcej, ale im większa, tym lepiej.
Musimy sprawdzić, czy nasza średnia jest rozsądnym oszacowaniem wysokości wszystkich ludzi, czy też wybraliśmy szczególnie wysoką (lub krótką) próbkę.
Użyjemy wzoru do obliczenia przedziału ufności. Jest to:
$$mean \pm z \frac{(SD)}{sqrt n}$$
Gdzie SD = odchylenie standardowe, a n to liczba obserwacji lub wielkość próby.
Wartość z pobieramy z tablic statystycznych dla wybranego przez nas rozkładu odniesienia. Tabele te podają wartość z dla określonego przedziału ufności (powiedzmy 95% lub 99%).
W tym przypadku mierzymy wysokość ludzi i wiemy, że wysokość populacji ma rozkład (zasadniczo) normalny (więcej na ten temat można znaleźć na naszej stronie poświęconej rozkładom statystycznym).Możemy zatem użyć wartości dla rozkładu normalnego.
Wartość z dla 95% przedziału ufności wynosi 1,96 dla rozkładu normalnego (wziętego ze standardowych tablic statystycznych).
Korzystając z powyższego wzoru, 95% przedział ufności wynosi zatem:
$$159,1 \pm 1,96 \frac{(25,4)}{sqrt 40}$$
Kiedy wykonamy to obliczenie, okaże się, że przedział ufności wynosi 151,23-166,97 cm. Można zatem powiedzieć, że mamy 95% pewności, że średnia populacji mieści się w tym przedziale.
Zrozumienie wyniku z lub wartości z
Score z jest miarą odchyleń standardowych od średniej. W naszym przykładzie wiemy zatem, że 95% wartości będzie się mieścić w zakresie ± 1,96 odchylenia standardowego od średniej:
Assessing Your Confidence Interval
Jako ogólna zasada kciuka, mały przedział ufności jest lepszy. Przedział ufności będzie się zawężał wraz ze wzrostem wielkości próbki, dlatego też zawsze preferowana jest większa próbka. Jak wyjaśnia nasza strona o próbkowaniu i projektowaniu próby, twój idealny eksperyment obejmowałby całą populację, ale to zwykle nie jest możliwe.
Wniosek
Przedziały ufności i istotność są standardowymi sposobami pokazania jakości twoich wyników statystycznych. Oczekuje się od Ciebie, że będziesz podawał je rutynowo podczas przeprowadzania jakiejkolwiek analizy statystycznej i generalnie powinieneś podawać dokładne liczby. Zapewni to, że Twoje badania są ważne i wiarygodne.
.