Datensatz — der wahre Engpass
Modellqualität ist eine Funktion der Datenqualität. 500 saubere Beispiele schlagen 50 000 verrauschte.
Format Beispiel (SFT):
{
"messages": [
{ "role": "system", "content": "Du bist ein Vertrags‑Assistent." },
{ "role": "user", "content": "Fasse den §5 dieses Mietvertrags zusammen." },
{ "role": "assistant", "content": "§5 regelt die Nebenkosten ..." }
]
}DPO‑Format:
{
"prompt": "Erkläre Quantenverschränkung.",
"chosen": "Klar, strukturiert, mit Analogie ...",
"rejected": "Verschränkung ist halt komisch ..."
}Profi‑Tipps:
- Train/Val Split 90/10, Holdout 10%.
- Vielfalt > Volumen — 1000 abwechslungsreiche schlagen 10 000 ähnliche.
- Negativbeispiele bewusst aufnehmen (Halluzinations‑Vermeidung).
- System‑Prompts in Trainingsdaten sollen mit Inferenz‑Prompt übereinstimmen.
Zurück zu Künstliche Intelligenz