Eval-Frameworks & Tools
| Tool | Modell | Stärken | Schwächen |
|---|---|---|---|
| promptfoo | Open Source CLI / TS lib | Yaml-Configs, viele Provider, Test in CI | Eigenes UI-Hosting nötig |
| LangSmith (LangChain) | SaaS | Tracing + Eval verzahnt, viele Built-in-Evaluators | Bezahlt, LangChain-zentriert |
| Opik (Comet) | Open Source + SaaS | Vendor-neutral, schöne UI | Jünger, kleineres Ökosystem |
| Langfuse | Open Source + SaaS | Observability + Eval, einfach selbst gehostet | Eval-Funktionen noch wachsend |
| Braintrust | SaaS | Sehr gutes UI, A/B-Vergleiche | Bezahlt |
| OpenAI Evals | Open Source CLI | Standard, viele Beispiele | OpenAI-zentriert |
Mini-Beispiel: promptfoo
# promptfooconfig.yaml
prompts:
- "Übersetze ins Deutsche: {{text}}"
- "Du bist Übersetzer. Übersetze gewissenhaft ins Deutsche: {{text}}"
providers:
- openai:gpt-4
- anthropic:claude-sonnet-4-6
tests:
- vars: { text: "Hello world" }
assert:
- type: contains
value: "Hallo"
- type: llm-rubric
value: "Übersetzung ist natürlich und korrekt"CLI: promptfoo eval → läuft alle Prompts × Provider × Tests, generiert Tabelle.
Empfehlung 2026
- Solo / kleine Teams: promptfoo (CLI) + Langfuse (Observability)
- LangChain-Ecosystem: LangSmith
- Enterprise: Braintrust oder LangSmith
- Vendor-neutral & OS: Opik oder Langfuse
Zurück zu KI