Ved gennemførelse af en test af betydning eller hypotese test, der er to tal, der er lette at forveksle. Disse tal forveksles let, fordi de begge er numre mellem nul og en, og begge er sandsynligheder. Et tal kaldes teststatistikkens p-værdi. Det andet antal interesser er niveauet for betydning eller alfa. Vi vil undersøge disse to sandsynligheder og bestemme forskellen mellem dem.
Alfaværdier
Tallet alfa er den tærskelværdi, vi måler p-værdier mod. Det fortæller os, hvor ekstreme observerede resultater skal være for at afvise nullhypotesen om en signifikansetest.
Værdien af alfa er knyttet til konfidensniveauet i vores test. Følgende viser nogle niveauer af tillid med deres relaterede værdier af alfa:
- For resultater med 90 procents tillidsniveau er alfa-værdien 1 - 0,90 = 0,10.
- For resultater med 95 procent niveau af selvtillid, værdien af alfa er 1 - 0,95 = 0,05.
- For resultater med 99 procents tillidsniveau er alfa-værdien 1 - 0,99 = 0,01.
- Og generelt, for resultater med et C-procentvis fortrolighedsniveau, er værdien af alfa 1 - C / 100.
Selvom der i teori og praksis mange tal kan bruges til alfa, er det mest almindeligt anvendte 0,05. Årsagen til dette er både fordi konsensus viser, at dette niveau er passende i mange tilfælde, og historisk set er det blevet accepteret som standarden. Der er dog mange situationer, hvor en mindre værdi af alfa skal bruges. Der er ikke en enkelt værdi af alfa der altid bestemmer statistisk betydning.
Alfa-værdien giver os sandsynligheden for a type I fejl. Type I-fejl opstår, når vi afviser en nulhypotese, der faktisk er sand. Således i det lange løb for en test med en niveau af betydning på 0,05 = 1/20, vil en ægte nulhypotese blive afvist en ud af hver 20 gange.
P-værdier
Det andet tal, der er del af en test af betydning, er en p-værdi. En p-værdi er også en sandsynlighed, men den kommer fra en anden kilde end alfa. Hver teststatistik har en tilsvarende sandsynlighed eller p-værdi. Denne værdi er sandsynligheden for, at den observerede statistik forekom tilfældigt alene, forudsat at nulhypotesen er sand.
Da der er et antal forskellige teststatistikker, er der en række forskellige måder at finde en p-værdi på. I nogle tilfælde er vi nødt til at kende Sandsynlighedsfordeling af befolkningen.
P-værdien af teststatistikken er en måde at sige, hvor ekstrem denne statistik er for vores eksempeldata. Jo mindre p-værdi, desto mere usandsynligt er den observerede prøve.
Forskel mellem P-værdi og alfa
For at bestemme, om et observeret resultat er statistisk signifikant, sammenligner vi værdierne for alfa og p-værdien. Der er to muligheder, der dukker op:
- P-værdien er mindre end eller lig med alfa. I dette tilfælde afviser vi nulhypotesen. Når dette sker, siger vi, at resultatet er statistisk signifikant. Med andre ord er vi med rimelighed sikre på, at der er noget udover tilfældet alene, der gav os en observeret prøve.
- P-værdien er større end alfa. I dette tilfælde undlader vi at afvise nulhypotesen. Når dette sker, siger vi, at resultatet ikke er statistisk signifikant. Med andre ord er vi med rimelighed sikre på, at vores observerede data kan forklares tilfældigt alene.
Implikationen af ovenstående er, at jo mindre værdien af alfa er, desto vanskeligere er det at hævde, at et resultat er statistisk signifikant. På den anden side, jo større værdien af alfa er, jo lettere er det at hævde, at et resultat er statistisk signifikant. Sammen med dette er imidlertid den højere sandsynlighed for, at det, vi observerede, kan tilskrives tilfældighed.