| Konvex, glatt, klein | Newton | Quadratische Konvergenz |
| Konvex, glatt, groß | Quasi-Newton (BFGS, L-BFGS) | Skaliert, kein H invertieren |
| Sehr großes ML-Problem | SGD, Adam | Stochastisch, billig pro Schritt |
| Gleichungs-Restriktion | Lagrange-Multiplikatoren | Direkter Ansatz |
| Ungleichungs-Restriktion | KKT, Innere-Punkte | Allgemein einsetzbar |
| Lineare Zielfunktion + Restriktion | Simplex / LP-Solver | Hocheffiziente Software |
| Diskrete/Ganzzahlige Variablen | Branch & Bound, MILP | NP-schwer, aber lösbar |
| Nicht-konvex, multimodal | Simulated Annealing, GA | Globale Suche |
