KI 3.3 — Fine-Tuning

Evaluation — sonst flippt's

Metriken:
  • Exact Match / Accuracy: für strukturierten Output.
  • BLEU / ROUGE: Übersetzung / Summarization.
  • Perplexity: wie sicher ist Modell? Niedriger = besser.
  • LLM‑as‑Judge: GPT‑4 bewertet 100 Outputs auf 1–5.
  • Human Eval: 50 Beispiele, blind von 3 Personen bewertet.
Red Flags:
  • Train‑Loss fällt rasant, Val‑Loss steigt → Overfitting.
  • Modell kann plötzlich nichts mehr außerhalb des Trainings → Catastrophic Forgetting (lower LR + mehr generische Daten).
  • Output ist verständlich, aber falsch → Daten‑Bias prüfen.
Zurück zu Künstliche Intelligenz