Unbeschränkte Optimierung
Notwendige Bedingung 1. Ordnung: ∇f(x*) = 0 — der Gradient verschwindet im Optimum.
Hinreichende Bedingung: Hesse-Matrix positiv definit ⇒ x* lokales Minimum.
Hinreichende Bedingung: Hesse-Matrix positiv definit ⇒ x* lokales Minimum.
Gradientenverfahren (Steepest Descent)
x_(k+1) = x_k - α_k · ∇f(x_k). Der negative Gradient zeigt in die Richtung des steilsten Abstiegs.
- α_k = Schrittweite (line search oder konstant).
- Konvergenz: linear, langsam bei schlecht skalierten Problemen.
- Praxis: ML nutzt Varianten — SGD, Adam, RMSprop.
Newton-Verfahren
x_(k+1) = x_k - H(x_k)⁻¹ · ∇f(x_k). Quadratisches Modell wird in jedem Schritt minimiert.
- Konvergenz: quadratisch (in der Nähe der Lösung).
- Aufwand: H berechnen & invertieren (O(n³)).
- Quasi-Newton (BFGS, L-BFGS) approximieren H — günstiger.
Trade-offGradient — billig pro Schritt, viele Schritte. Newton — teuer pro Schritt, wenige Schritte. Quasi-Newton — guter Kompromiss für mittelgroße Probleme.