OLS — Methode der kleinsten Quadrate
Idee von OLS (Ordinary Least Squares)
Wähle die Gerade, die die Summe der quadrierten Residuen minimiert:
minimiere Σ (yᵢ − ŷᵢ)² = Σ (yᵢ − (a + b·xᵢ))²Die Lösungs-Formeln
b = Σ (xᵢ − x̄)(yᵢ − ȳ) / Σ (xᵢ − x̄)² = Cov(X,Y) / Var(X) = r · (s_y / s_x)a = ȳ − b · x̄Anschauung — warum quadrieren?
- Quadrieren bestraft große Abweichungen stärker als kleine.
- Ist mathematisch elegant ableitbar (eindeutige Lösung).
- Alternativen wie LAD (least absolute deviations) sind robuster gegen Ausreißer, aber rechnerisch aufwändiger.
Beziehung zur KorrelationDie Steigung b und der Pearson r hängen direkt zusammen: b = r · (s_y / s_x). Bei standardisierten Daten (s_x = s_y = 1) ist b = r. Vorzeichen von b und r sind immer gleich.
Beispiel
(x, y) = (1, 3), (2, 5), (3, 6), (4, 8), (5, 10).
- x̄ = 3, ȳ = 6.4.
- Σ(x−x̄)(y−ȳ) = (−2)(−3.4) + (−1)(−1.4) + 0 + (1)(1.6) + (2)(3.6) = 6.8 + 1.4 + 0 + 1.6 + 7.2 = 17
- Σ(x−x̄)² = 4+1+0+1+4 = 10
- b = 17/10 = 1.7
- a = 6.4 − 1.7 · 3 = 1.3
- Modell: ŷ = 1.3 + 1.7·x