Multikollinearität & VIF
Multikollinearität
Zwei oder mehr Prädiktoren sind stark korreliert. Das macht die Schätzung der Koeffizienten unzuverlässig — kleine Datenänderungen → große Koeffizientenänderungen.
Beispiel
Du sagst Gehalt vorher mit „Berufserfahrung in Jahren" und „Alter". Diese sind hochkorreliert (r ≈ 0.95). Das Modell weiß nicht, welcher beiden den Effekt verursacht — Koeffizienten werden instabil.
VIF — Variance Inflation Factor
Misst, wie stark die Varianz eines Koeffizienten durch Multikollinearität erhöht wird:
VIF_j = 1 / (1 − R²_j)R²_j = R² der Regression von x_j auf alle anderen Prädiktoren.
| VIF | Interpretation |
|---|---|
| = 1 | Keine Multikollinearität |
| 1 − 5 | Akzeptabel |
| 5 − 10 | Bedenklich, prüfen |
| > 10 | Stark — Variable evtl. entfernen |
Lösungen bei MultikollinearitätEine Variable entfernen (die mit dem höchsten VIF).
Variablen kombinieren (Hauptkomponentenanalyse, PCA).
Mehr Daten sammeln (reduziert Instabilität).
Ridge Regression — fügt Bias hinzu, reduziert Varianz.
Variablen kombinieren (Hauptkomponentenanalyse, PCA).
Mehr Daten sammeln (reduziert Instabilität).
Ridge Regression — fügt Bias hinzu, reduziert Varianz.