Ein KI‑Prototyp ist in 30 Minuten gebaut. Ein KI‑Service, der nachts um 3 Uhr nicht stürzt, gut skaliert, monitoriert wird und nicht das Budget sprengt — das ist die eigentliche Königsaufgabe. Hier kommt MLOps ins Spiel.
Production‑Bausteine:
- Inference Server: vLLM, TGI, Triton, llama.cpp.
- API‑Gateway: Auth, Rate‑Limit, Routing.
- Monitoring: Latenz, Token‑Cost, Fehler‑Rate, Halluzinations‑Score.
- Caching: Embedding‑Cache, Response‑Cache, KV‑Cache.
- Guardrails: Prompt‑Injection, PII‑Filter, Toxicity.
- Eval‑Pipeline: Continuous Evaluation gegen Goldset.
Faustregel: „Das Modell ist 10 % der Arbeit. Die anderen 90 % heißen Production."
Zurück zu Künstliche Intelligenz