Evaluation — sonst flippt's
Metriken:
- Exact Match / Accuracy: für strukturierten Output.
- BLEU / ROUGE: Übersetzung / Summarization.
- Perplexity: wie sicher ist Modell? Niedriger = besser.
- LLM‑as‑Judge: GPT‑4 bewertet 100 Outputs auf 1–5.
- Human Eval: 50 Beispiele, blind von 3 Personen bewertet.
Red Flags:
- Train‑Loss fällt rasant, Val‑Loss steigt → Overfitting.
- Modell kann plötzlich nichts mehr außerhalb des Trainings → Catastrophic Forgetting (lower LR + mehr generische Daten).
- Output ist verständlich, aber falsch → Daten‑Bias prüfen.
Zurück zu Künstliche Intelligenz