from peft import LoraConfig
from trl import SFTTrainer

config = LoraConfig(r=16, lora_alpha=32,
  target_modules=["q_proj","v_proj"],
  lora_dropout=0.05, bias="none")

trainer = SFTTrainer(
  model="meta-llama/Llama-3.2-3B",
  args=TrainingArguments(
    learning_rate=2e-4, num_train_epochs=3,
    per_device_train_batch_size=4),
  train_dataset=ds, peft_config=config)

trainer.train()
trainer.save_model("./out")

• r (Rang): 8–32, höher → mehr Kapazität, mehr Speicher.
• lora_alpha: meist 2× r.
• Learning Rate: 1e‑4 bis 5e‑4.
• Epochs: 2–5 — sonst Overfitting.
• Batch Size: kleinste, die in den GPU‑Speicher passt; mit Gradient Accumulation puffern.