Der Standardfehler liefert eine Aussage über die Güte des geschätzten Parameters. Je mehr Einzelwerte es gibt, desto kleiner ist der Standardfehler, und umso genauer kann der unbekannte Parameter geschätzt werden.
Der Standardfehler macht die gemessene Streuung (Standardabweichung) zweier Datensätze mit unterschiedlichen Stichprobenumfängen vergleichbar, indem er die Standardabweichung auf den Stichprobenumfang normiert.
Wird mit Hilfe von mehreren Stichproben der unbekannte Parameter geschätzt, so werden die Ergebnisse von Stichprobe zu Stichprobe variieren. Diese Variation stammt nicht von unbekannten Parametern (denn der ist fix), sondern von Zufallseinflüssen, z. B. Messungenauigkeiten. Der Standardfehler ist die Standardabweichung der geschätzten Parameter in vielen Stichproben.
Im Allgemeinen gilt: Für eine Halbierung des Standardfehlers ist eine Vervierfachung des Stichprobenumfangs nötig.

Weitere Informationen hier: Standardfehler