Iterativ verbessern
Workflow: Hypothese → Test → Daten → Entscheidung
- Beobachten: wo crasht das aktuelle Setup? (User-Feedback, Logs, Refunds)
- Hypothese: "Wenn ich X ändere, wird Y besser, weil Z"
- Goldset erweitern mit Edge-Case, der gerade kaputt war
- Variante bauen: Prompt v2
- Eval gegen Goldset: v2 besser als v1?
- A/B in Production mit kleinem Traffic-Anteil
- Auswerten: v2 gewinnt? Voll ausrollen. Verliert? Lernen, andere Idee.
Häufige Verbesserungs-Hebel
| Hebel | Wirkung |
|---|---|
| Few-Shot-Beispiele hinzufügen | +10-30% Accuracy bei strukturiertem Output |
| Chain-of-Thought / "denke Schritt für Schritt" | +10-20% bei Reasoning |
| System-Prompt präzisieren | Konsistenter Stil/Persona |
| Output-Format strikt vorgeben (JSON-Schema) | Weniger Parse-Fehler |
| Modell-Wechsel | Großer Sprung — aber teurer |
| Temperatur senken | Reproduzierbarer, weniger Kreativität |
| RAG hinzufügen | Faktentreue ↑ bei Domain-Wissen |
| Fine-Tuning | Letzter Hebel — wenn Prompt-Optimierung erschöpft |
Anti-Pattern
- Goldset cherry-picked: nur leichte Beispiele → Eval überschätzt Quality
- Goldset = Trainingsdaten: Datenleak, alles bestanden, real bricht ein
- Eval-Set wird nie aktualisiert: Reality-Drift, neue Use-Cases unbekannt
Zurück zu KI