Vibe-Checking ist kein Eval

"Der Prompt fühlt sich besser an" ist keine Engineering-Aussage. Wer Prompts in Production nutzt, muss messen — sonst ist jede Verbesserung Glaube, kein Wissen.

Symptome eines fehlenden Eval-Setups

• Du änderst einen Prompt — und merkst nicht, dass 5 andere Use-Cases jetzt schlechter sind
• Modell-Update von OpenAI/Anthropic → niemand weiß, ob Quality besser/schlechter
• Bug-Reports von Kunden sind die einzige Eval
• Junior-Devs traut sich nichts zu ändern, weil keiner weiß, was passiert

Was du in diesem Kurs lernst

• Welche Metriken für welche Aufgabe (Klassifikation, Generierung, Extraktion)
• Methoden: Goldset, Human-Eval, LLM-as-Judge
• A/B-Test-Setup für Prompt-Versionen
• Tools: promptfoo, LangSmith, Opik
• Iterativer Verbesserungs-Workflow — Hypothese → Test → Daten → Entscheidung

Warum jetzt?

2023 war Prompts schreiben Kunst. 2026 ist es Engineering. Wer keine Eval-Pipeline hat, baut auf Sand.