Embeddings — Bedeutung als Vektoren
Embedding: Numerische Vektor-Darstellung eines Tokens, Wortes oder Textes. Modelle wie text-embedding-3 produzieren Vektoren mit 1536 oder mehr Dimensionen.
Was bedeutet das praktisch?
- Ähnliche Bedeutungen → ähnliche Vektoren (kleine Distanz).
- "König" - "Mann" + "Frau" ≈ "Königin" (klassisches Beispiel).
- Suche per Bedeutung möglich, nicht nur per Wort-Match.
- Grundlage für RAG, semantische Suche, Klassifikation.
Cosine Similarity
Maß für Ähnlichkeit zweier Embeddings: cos(θ) = (A·B)/(‖A‖·‖B‖). Wert zwischen -1 (entgegengesetzt) und 1 (identisch).
Anwendungen
| Anwendung | Wie? |
|---|---|
| Semantische Suche | Frage embedden → ähnlichste Doks finden |
| RAG | Dokumente embedden, vor jeder Frage relevante zurückholen |
| Clustering | Ähnliche Tickets gruppieren |
| Anomalie-Erkennung | Ausreißer-Embeddings finden |
| Empfehlungssystem | Nutzer-Embeddings + Item-Embeddings vergleichen |
Standard-Embedding-Modelle 2026OpenAI text-embedding-3-small (1536D, sehr günstig). text-embedding-3-large (3072D, präziser). Cohere embed-multilingual-v3 (mehrsprachig). Open-Source: BGE, nomic-embed-text.