Eval-Metriken nach Task-Typ

1. Klassifikation (Sentiment, Kategorie)

• Accuracy: Anteil korrekter Antworten
• Precision/Recall/F1: bei unbalancierten Klassen
• Confusion Matrix: wo passieren Fehler?

2. Extraktion (NER, JSON-Output)

• Exact Match: JSON 1:1 wie erwartet?
• Schema-Validierung: hält sich Output an JSON-Schema?
• Field-Level F1: pro Feld auswerten

3. Generierung (Text, Code)

• BLEU / ROUGE: n-gram-Overlap. Schwach für freie Generierung.
• BERTScore: semantischer Embedding-Vergleich. Besser als BLEU.
• LLM-as-Judge: ein 2. LLM bewertet — derzeit der beste Proxy
• Human-Eval: Goldstandard, aber teuer

4. Code-Generierung

• Pass@k: in k Versuchen, mind. 1 lauffähig?
• Test-Suite-Run: generierter Code läuft Tests bestanden
• Linter / Type-Checker: formales Korrektheits-Proxy

Operative Metriken (immer mitmessen!)