A/B-Tests mit Prompts

Offline-Eval (Goldset, LLM-Judge) sagt dir, was theoretisch besser ist. A/B-Test mit echten Nutzern sagt dir, was praktisch besser wirkt.

Setup

1. Hypothese formulieren — "Variante B reduziert Refund-Rate um 10%"
2. Metrik definieren — Refund-Rate? CSAT? CTR?
3. Stichprobengröße rechnen — Power-Analyse, je nach Effekt-Größe
4. Random-Routing — Hash(user_id) → A oder B
5. Mindestens 1-2 Wochen laufen lassen (Wochen-Saisonalität)
6. Auswerten — Signifikanz prüfen (t-Test, Chi²)

Häufige Fehler

• Peeking: täglich gucken und früh stoppen → False-Positives steigen
• Multiple Tests gleichzeitig ohne Bonferroni-Korrektur
• Outcome-Definition vage — was ist "guter Customer-Service"?
• Nutzer-Segmente vermischt — Power-User vs. Neukunden
• Modell-Update mitten im Test → Test wertlos

Multi-Armed Bandit als Alternative

Statt fixer 50/50-Split: dynamisch mehr Traffic auf besser performende Variante. Thompson Sampling oder UCB als Algorithmus.

Gut: weniger Verlust durch schlechte Variante. Schlecht: keine sauberen p-Werte für Stakeholder-Story.