Praxis‑Aufträge

1. vLLM Setup: Llama‑3 8B auf einem Cloud‑Server, REST‑Endpoint mit Bearer‑Token.
2. Caching‑Schicht: Redis als Semantic‑Cache vor das Modell schalten — Hit‑Rate messen.
3. Modell‑Router: einfacher Klassifikator (klein/groß) — Cost vor/nach vergleichen.
4. Monitoring: Langfuse einbauen, Dashboard für Latenz / Tokens / Errors.
5. Goldset Eval: 50 Test‑Prompts, automatisierter LLM‑Judge, nightly Job.
6. Guardrails: Lakera + PII‑Redaction in den Request‑Path einbauen.
7. Load‑Test: 100 RPS mit k6, p95‑Latenz ermitteln, Skalierungsplan dokumentieren.