Som tidligere beskrevet accepterer vi, at der er en risiko for at drage en fejlkonklusion, når vi laver et hypotesetest. Fejl af type 1 er den fejl, man laver, hvis man forkaster en hypotese, selvom den er sand. Sandsynligheden for at begå fejl af type 1 er lig med det signifikansniveau, man sætter.

I eksemplet fra afsnit 15.5.1, hvor vi fik fem 6'ere ud af 12 terningekast, forkastede vi nulhypotesen, og konkluderede at der var snydt med terningerne. Men der er jo 3,64% sandsynlighed for at få 5 eller flere 6'ere. Så selv om vi får fem 6'ere med 12 terningekast, behøver der jo ikke at være snydt med terningerne.

Fejl af type 2 er den fejl, man laver, hvis man accepterer en hypotese, selvom den er falsk. Denne fejltype er kompliceret at sætte sandsynligheder på, men man kan generelt formulere dem således:

• Hvis sandheden er langt fra hypotesen, så er der en lille sandsynlighed for at begå fejl af type 2.

• Hvis sandheden er tæt på hypotesen, så er der en stor sandsynlighed for at begå fejl af type 2.

• Hvis man har mange data, så er der en lille sandsynlighed for at begå fejl af type 2.

• Hvis man har få data, så er der en stor sandsynlighed for at begå fejl af type 2.

En person mistænkes for mord. Da man er uskyldig indtil andet er bevist, opstiller vi nulhypotesen

H0: Uskyldig

Mens den alternative hypotese er

H1: Skyldig

Figur 15.5.4.1 giver et overblik over de konklusioner man kan lave, og de fejl der er risiko for at begå.