Hypotesetestning er en udbredt videnskabelig proces, der bruges på tværs af statistiske og samfundsvidenskabelige discipliner. I studiet af statistik opnås et statistisk signifikant resultat (eller et med statistisk signifikans) i en hypotesetest, når p-værdien er mindre end det definerede signifikansniveau. Det p-værdi er sandsynligheden for at opnå en teststatistik eller prøveresultat så ekstrem som eller mere ekstrem end den observerede i undersøgelsen, hvorimod signifikansniveauet eller alfa fortæller en forsker, hvordan ekstreme resultater skal være for at afvise det nulhypotesen. Med andre ord, hvis p-værdien er lig med eller mindre end det definerede signifikansniveau (typisk betegnet ved α) kan forskeren med sikkerhed antage, at de observerede data er uforenelige med antagelsen om, at det nulhypotesen er sandt, hvilket betyder, at nulhypotesen eller antagelsen om, at der ikke er nogen sammenhæng mellem de testede variabler, kan afvises.
Ved at afvise eller modbevise nulhypotesen konkluderer en forsker, at der er et videnskabeligt grundlag for troen er et vist forhold mellem variablerne, og at resultaterne ikke skyldtes samplingfejl eller chance. Selv om afvisning af nulhypotesen er et centralt mål i de fleste videnskabelige undersøgelser, er det vigtigt at bemærke det afvisningen af nulhypotesen svarer ikke til beviset for forskerens alternativ hypotese.
Statistisk signifikante resultater og signifikansniveau
Begrebet statistisk betydning er grundlæggende for hypotesetest. I en undersøgelse, der involverer at tegne en tilfældig prøve fra en større population i et forsøg på at bevise et resultat, der kan anvendes på befolkning som helhed, er der det konstante potentiale for undersøgelsesdata at være et resultat af prøveudtagningsfejl eller simpel sammenfald eller chance. Ved at bestemme et signifikansniveau og teste p-værdien mod det, kan en forsker med tillid opretholde eller afvise nulhypotesen. Betydningsniveauet er så let som muligt tærskelsandsynligheden for forkert at afvise nulhypotesen, når den faktisk er sand. Dette er også kendt som type I fejl sats. Betydningsniveauet eller alfa er derfor forbundet med testets samlede konfidensniveau, hvilket betyder, at jo højere værdien af alfa er, jo større er tilliden til testen.
Type I-fejl og betydningsniveau
En type I-fejl, eller en fejl af den første art, opstår, når nullhypotesen afvises, når den i virkeligheden er sand. Med andre ord kan en type I-fejl sammenlignes med en falsk positiv. Type I-fejl kontrolleres ved at definere et passende niveau af betydning. Bedste praksis inden for videnskabelig hypotese-test kræver valg af et signifikansniveau, inden dataindsamlingen endda begynder. Det mest almindelige signifikansniveau er 0,05 (eller 5%), hvilket betyder, at der er en 5% sandsynlighed for, at testen vil lide en type I-fejl ved at afvise en ægte nullhypotese. Dette signifikansniveau oversættes omvendt til 95% niveau af selvtillid, hvilket betyder, at over en række hypotetests, vil 95% ikke resultere i en type I-fejl.