MSE & Bias-Varianz-Tradeoff
Definition · Mean Squared Error (MSE)
Der mittlere quadratische Fehler eines Schätzers — das umfassende Maß für seine Qualität.
MSE(θ̂) = E[(θ̂ − θ)²] = Var(θ̂) + Bias(θ̂)²Die Zerlegung verstehen
MSE besteht aus zwei Teilen:
- Varianz: wie sehr schwankt der Schätzer von Stichprobe zu Stichprobe?
- Bias²: wie weit weg vom wahren Wert ist sein Mittelwert?
Der TradeoffManchmal kann man Bias akzeptieren, um Varianz zu reduzieren — und damit den Gesamtfehler (MSE) zu senken. Beispiel: Ridge Regression in Machine Learning. Im Klausur-Kontext wählst du typischerweise erwartungstreue Schätzer mit minimaler Varianz.
Effizienz
Ein erwartungstreuer Schätzer heißt effizient, wenn er die kleinste mögliche Varianz unter allen erwartungstreuen Schätzern hat. Untergrenze: Cramér-Rao-Schranke.
Beispiel: Bei Normalverteilung ist x̄ der effizienteste Schätzer für μ — kein anderer erwartungstreuer Schätzer schafft eine kleinere Varianz.