Maximum-Likelihood — die universelle Methode
Definition · Maximum-Likelihood-Schätzer (MLE)
Wähle den Parameter θ, der die beobachteten Daten am wahrscheinlichsten macht. Das ist der MLE.
θ̂_ML = argmaxθ L(θ; x₁, ..., xₙ)Die Likelihood-Funktion
Bei unabhängigen Beobachtungen mit Dichte f(x; θ):
L(θ) = ∏ f(xᵢ; θ) · ℓ(θ) = log L(θ) = Σ log f(xᵢ; θ)Meistens maximiert man die Log-Likelihood ℓ(θ) — Produkte werden zu Summen, einfacher zu differenzieren.
Beispiel — MLE für Normalverteilung
x₁, ..., xₙ ~ N(μ, σ²). Setze ∂ℓ/∂μ = 0 → der MLE für μ ist:
μ̂_ML = x̄ · σ̂²_ML = (1/n) · Σ (xᵢ − x̄)²Für μ deckt sich das mit dem Mittelwert. Für σ² liefert ML die biasedVariante (mit n im Nenner) — ein Beispiel, wo ML zwar konsistent, aber nicht erwartungstreu ist.
Eigenschaften des MLEAsymptotisch erwartungstreu ✓
Konsistent ✓
Asymptotisch normal verteilt ✓ (Basis für KIs/Tests)
Asymptotisch effizient ✓ (erreicht Cramér-Rao)
Aber: für endliche n manchmal verzerrt.
Konsistent ✓
Asymptotisch normal verteilt ✓ (Basis für KIs/Tests)
Asymptotisch effizient ✓ (erreicht Cramér-Rao)
Aber: für endliche n manchmal verzerrt.
Andere Schätzmethoden — kurze Erwähnung
- Methode der Momente: setze Stichprobenmomente = theoretische Momente.
- Bayes-Schätzer: kombiniere Likelihood mit Vorwissen (Prior).
- OLS (Least Squares): minimiere Quadratsumme der Residuen — Spezialfall von ML bei normalverteilten Fehlern.