Diese Idee von Gauß ist bahnbrechend gewesen (sogar im wahrsten Sinne des Wortes: Gauß konnte damit die Bahn des Zwergplaneten Ceres berechnen).
Um die Residuen (also die Abstände eines Schätzwertes oder einer Schätzfunktion zum empirischen Wert) möglichst gering zu halten, minimiert man ihr Quadrat.
Es kann gezeigt werden, dass dieses Verfahren in vielerlei Hinsicht den besten Schätzwert liefert. Die Methode der kleinsten Quadrate wird für zahlreiche Verfahren benutzt, in der Statistik vor allem für die Berechnung von Regressionsanalysen.

Den Namen hat diese Methode jedoch nicht von Gauß, sondern vom Franzosen Adrien-Marie Legendre erhalten, der sie unabhängig von Gauß entdeckt hatte.