Ein LoRA, das nur ihn kennt

Worum es geht

Ein Bildmodell kennt viele Gesichter, aber nicht seins. Beschreibt man ihn nur mit Worten, kommt bei jedem Bild ein anderer Mann heraus, der ihm ähnlich sieht. Für eine Figur, die durch viele Videos trägt, reicht das nicht.

Ein LoRA (Low-Rank Adaptation) löst das. Es ist eine kleine Zusatzdatei zum Bildmodell: 170 MB neben den 12 GB des Modells selbst. Sie bringt dem Modell ein neues Wort bei, hier l3hr3r. Steht das Wort im Prompt, erscheint er. Steht es nicht da, soll sich das Modell verhalten wie vorher. Dieser zweite Teil ist schwieriger, als er klingt.

Was vorher passiert ist

Das Gesicht stammt aus Lektion A1: ein Prompt, mehrere Modelle und Seeds, am Ende Seed 3007 von Z-Image Turbo. In Lektion A2 wurden aus diesem einen Porträt 23 Bilder: sechs Blickwinkel, fünf Gesichtsausdrücke, viele Kleidungen, Orte und Lichtstimmungen. Das Gesicht bleibt dabei immer gleich, alles andere ändert sich.

Der Ablauf

1. Bildbeschreibungen schreiben

Zu jedem Bild gehört eine Textdatei mit demselben Namen. Jede Beschreibung beginnt gleich und nennt dann alles, was sich ändern darf: Blickwinkel, Kleidung, Ort, Licht, Ausdruck.

a photo of l3hr3r, a man, a three-quarter view close-up at eye level,
head turned to the side with a slight smile, wearing a plain light grey
t-shirt, plain light grey studio background, soft even studio lighting

Was nicht in der Beschreibung steht, schreibt das Training dem Stichwort zu. Das Gesicht wird nie beschrieben, also lernt das Modell: Gesicht = l3hr3r. Würde man „blaugraue Augen“ in jede Beschreibung schreiben, gehörten die Augen nicht mehr fest zu ihm, sondern zum Prompt.

2. Basismodell und Adapter wählen

Trainiert wird auf Z-Image Turbo, also auf demselben Modell, mit dem später die Bilder entstehen. Turbo-Modelle sind destilliert: Sie brauchen nur etwa neun Schritte pro Bild statt mehrerer Dutzend. Trainiert man direkt darauf, geht diese Abkürzung verloren. Der Training Adapter v2 von ostris fängt das ab. Er läuft nur während des Trainings mit und wird danach nicht mehr gebraucht.

3. Konfiguration

Das Training läuft mit dem ai-toolkit von ostris und wird über eine einzige YAML-Datei gesteuert. Die wichtigsten Zeilen:

trigger_word: "l3hr3r"
network: { type: "lora", linear: 32, linear_alpha: 32 }
save: { save_every: 250, max_step_saves_to_keep: 8 }
train:
  steps: 2000
  lr: 1e-4
  optimizer: "adamw8bit"
  diff_output_preservation: true        # Schutz gegen das Durchsickern
  diff_output_preservation_class: "man"
model:
  arch: "zimage"
  assistant_lora_path: ".../zimage_turbo_training_adapter_v2.safetensors"
  quantize: true                        # qfloat8, passt in 24 GB
  low_vram: false

4. Trainieren und Zwischenstände sammeln

Alle 250 Schritte speichert das Training einen Zwischenstand und erzeugt fünf Testbilder mit festem Seed. Vier davon enthalten das Stichwort: Klassenzimmer, Park, Nahaufnahme, Porträt vor grauem Grund. Das fünfte enthält es nicht. Es prüft, ob das LoRA dort bleibt, wo es hingehört. Nach 2000 Schritten und 3 Stunden 37 Minuten liegen neun Reihen Testbilder vor.

5. Den richtigen Stand auswählen

Das Training liefert keinen Messwert, der sagt, welcher Stand der beste ist. Die Auswahl passiert mit dem Auge: Ein Skript setzt die Testbilder jedes Zwischenstands neben das Referenzporträt, ein zweites erzeugt für die engere Wahl Szenen mit schwierigen Ausdrücken.

Entscheidungen

Fallstricke

# 1. ai-toolkit nach werkzeuge/ (Python 3.10–3.12)
git clone https://github.com/ostris/ai-toolkit.git werkzeuge/ai-toolkit
cd werkzeuge/ai-toolkit
python3 -m venv venv
venv/bin/pip install --no-cache-dir torch==2.13.0 torchvision==0.28.0 torchaudio==2.11.0 --index-url https://download.pytorch.org/whl/cu130
venv/bin/pip install -r requirements.txt
cd ../..

# 2. Modelle nach modelle/ (rund 28 GB)
hf download Comfy-Org/z_image_turbo split_files/diffusion_models/z_image_turbo_bf16.safetensors --local-dir modelle/Comfy-Org/z_image_turbo
hf download Tongyi-MAI/Z-Image-Turbo --exclude "transformer/diffusion_pytorch_model-*" --exclude "assets/*" --local-dir modelle/Tongyi-MAI/Z-Image-Turbo
hf download ostris/zimage_turbo_training_adapter zimage_turbo_training_adapter_v2.safetensors --local-dir modelle/ostris/zimage_turbo_training_adapter

# 3. Stichwort und Klasse eintragen
sed -i 's/l3hr3r/l3hr3r/g; s/a man/a man/g; s/"man"/"man"/' figur/lora/training.yaml

# 4. Trainieren: rund 3,5 Stunden, alle 250 Schritte ein Zwischenstand mit fünf Testbildern
cd werkzeuge/ai-toolkit && venv/bin/python run.py ../../figur/lora/training.yaml && cd ../..

# 5. Testbilder ansehen, Stand wählen (hier 1500), übernehmen und festhalten
ls figur/lora/zwischenstaende/figur/samples/
cp figur/lora/zwischenstaende/figur/figur_000001500.safetensors figur/lora/figur.safetensors
echo "| A3 | $(date +%F) | Trainingsstand 1500 | Gesicht sitzt, Ausdruck noch lebendig |" >> entscheidungen.md
python3 skripte/pruefen.py A3

Trainiere ein LoRA für meine Figur aus figur/datensatz/
und zeig mir alle 250 Schritte den Kontaktabzug.