Eval-Methoden

1. Goldset (gelabelte Beispiele)

50-200 (Input, Erwarteter-Output)-Paare. Aufgebaut von Domain-Experten. Jeder Prompt-Wechsel wird gegen Goldset gemessen.

Vorteil: reproduzierbar, schnell, automatisierbar

Nachteil: Aufbau braucht Zeit, Goldset muss gepflegt werden

2. Human-Eval

Menschen bewerten Outputs nach Rubrik (Hilfreich/Sicher/Korrekt). Mehrere Bewerter pro Sample → Inter-Annotator-Agreement (Cohen's κ).

Vorteil: Goldstandard für Nuancen

Nachteil: teuer (~5-50 €/Sample), langsam, schwer zu skalieren

3. LLM-as-Judge

Ein zweites (oft größeres) LLM bewertet Output nach Prompt-Rubrik.

Bewerte folgende Antwort auf Skala 1-5:
- 5 = perfekt, korrekt, hilfreich, höflich
- 1 = falsch / unverständlich / unsicher

Frage: {question}
Antwort: {answer}

Score (nur Zahl):

Vorteil: skalierbar, billig (vs. Human), schnell

Nachteil: Bias (z.B. Length-Bias — längere Antworten oft höher bewertet), Judge-Modell selbst muss gut sein

4. Pairwise-Comparison

Statt absoluter Score: gib Judge zwei Antworten, frag "welche besser?". Robuster als absolute Skala.

5. Rule-Based Checks

Schnelle, billige Tests:

• Output enthält PII? (Regex auf Mails/Telefon)
• Output länger als 200 Wörter?
• Output ist valides JSON?
• Output enthält Verbotenes (z.B. Konkurrenz-Marken)?