Praxis — Klausur-Aufgaben

1. 1) Forward Pass. Berechne Output: x=[1,2], W=[[1,0],[0,1]], b=[1,1], ReLU.
   Lösung: z = Wx + b = [1·1+0·2+1, 0·1+1·2+1] = [2, 3]. ReLU: [2, 3].
2. 2) Anzahl Parameter. MLP: Input 784, Hidden 128, Output 10. Wie viele Parameter?
   Lösung: (784·128 + 128) + (128·10 + 10) = 100.480 + 1.290 = 101.770 Parameter.
3. 3) Loss-Funktion wählen. Multi-Class-Klassifikation, 10 Klassen, Output Softmax.
   Lösung: Categorical Cross-Entropy: L = -Σ y_true · log(y_pred).
4. 4) Lernrate. Loss steigt nach jeder Epoche. Was ist los?
   Lösung: Lernrate zu hoch — Gradient-Schritte schießen über Minimum hinaus. Reduzieren auf 1/10.
5. 5) Architektur-Wahl. Du sollst ein Modell für Sprach-zu-Text bauen. Welche Architektur?
   Lösung: Whisper-artig: Conformer (Transformer + CNN) oder reiner Transformer-Encoder/Decoder.
6. 6) Dropout. Was bewirkt Dropout = 0.3 in einer Schicht?
   Lösung:Während Training werden 30% der Neuronen zufällig deaktiviert. Verhindert Overfitting durch "Ensemble-Effekt".
7. 7) Self-Attention. Warum ist Self-Attention im Transformer mächtig?
   Lösung: Jedes Token kann ALLE anderen Tokens direkt referenzieren, nicht sequenziell wie RNN. Parallelisierbar + lange Kontexte.