Backpropagation — wie Netze lernen
Backpropagation berechnet, wie sehr jeder Parameter (Gewicht, Bias) zum Fehler beigetragen hat. Mit Gradient Descent passt man dann die Parameter an.
Vier-Schritte-Trainingsschleife
- Forward Pass: Daten durchs Netz schicken — bekomme Vorhersage ŷ.
- Loss berechnen: Wie weit weg von der Wahrheit y? z.B. Cross-Entropy oder MSE.
- Backward Pass: Gradient des Loss bzgl. jedes Gewichts berechnen (Kettenregel).
- Update: Gewichte gegen den Gradient verschieben: w ← w - η·∂L/∂w (η = Lernrate).
Wichtige Konzepte
- Lernrate η: Zu groß = explodiert. Zu klein = endlos langsam. Praxis: 1e-3 bis 1e-4 mit Schedule.
- Batch Size: Statt aller Daten gleichzeitig — Mini-Batches (z.B. 32 oder 64).
- Optimizer: SGD ist Basis. Adam ist 2026-Standard (adaptive Lernrate).
- Epoch: Eine Runde durch den gesamten Trainingsdatensatz.
Vanishing/Exploding GradientsIn tiefen Netzen können Gradienten zu klein (verschwinden) oder zu groß (explodieren) werden. Lösungen: ReLU statt Sigmoid, Batch Normalization, Skip-Connections (ResNet), Gradient Clipping.