Wie immer in der Statistik gilt auch für das abschließende Testergebnis: nichts ist sicher! Auch ein signifikantes Testergebnis bedeutet nicht, dass mit absoluter Sicherheit ein relevantes Ergebnis vorliegt. Abgesehen von der Irrtumswahrscheinlichkeit kann der Unterschied auch aufgrund von Störgrößen zustande kommen - oder er kann zwar vorhanden sein, aber in der Praxis keine Bedeutung haben. Wenn wir herausfinden, dass ein Medikament signifikant das Leben der Patienten verlängert ist das erst einmal schön. Wenn wir dabei übergehen, dass die Mehrzahl dieser Patienten nach der Behandlung den Rest ihres recht langen Lebens im Koma verbringt, müssen wir den Nutzen dieser Behandlung trotz hochsignifikanter Lebensverlängerung in Frage stellen. Dasselbe gilt für ein nicht-signifikantes Testergebnis. Der Unterschied kann trotzdem bedeutend sein, und nur deshalb nicht vom Zufall zu trennen sein, weil die Stichprobe nicht groß genug oder die Messung zu ungenau war.

Jedes Testergebnis muss kritisch hinterfragt werden!