Fine-Tuning

Für die meisten Unternehmenseinsätze ist Fine-Tuning nicht der erste Schritt: Retrieval-Augmented Generation (aktuelle Daten anbinden) und gutes Prompt Engineering lösen die meisten Anforderungen bereits, sind schneller umzusetzen und leichter aktuell zu halten. Faustregel: Wissen gehört in RAG, Verhalten kann man fine-tunen.

Fine-Tuning lohnt sich vor allem, wenn ein sehr spezifisches Verhalten oder Format über große Mengen wiederkehrend gebraucht wird — etwa ein exakt einzuhaltender Dokumentstil, eine Fachsprache oder eine Klassifikationsaufgabe mit tausenden Beispielen. Es braucht saubere Trainingsdaten und muss bei Änderungen wiederholt werden.

Der Aufwand liegt weniger im Training selbst als in der Datenaufbereitung: hunderte bis tausende geprüfte Beispielpaare (Eingabe, gewünschte Ausgabe). Wer diese Daten nicht hat, fährt mit ausführlichen Prompts inklusive Beispielen (Few-Shot-Prompting) fast immer besser — und bleibt flexibel beim Modellwechsel.

In der Projektpraxis hat sich eine klare Eskalationsreihenfolge bewährt: Zuerst wird versucht, die Aufgabe mit gutem Prompt Engineering zu lösen — schnell, günstig, sofort änderbar. Reicht das nicht, weil Firmenwissen fehlt, kommt RAG dazu. Erst wenn beides ausgereizt ist und ein sehr spezifisches Verhalten in hoher Stückzahl gebraucht wird, lohnt die Investition in Fine-Tuning.

Diese Reihenfolge schützt vor einem teuren Klassiker: Unternehmen, die als Erstes 'ein eigenes Modell trainieren' wollen, lösen damit meist ein Problem, das ein guter Prompt mit Beispielen längst gelöst hätte. Fine-Tuning ist ein Spezialwerkzeug — wertvoll am richtigen Platz, überflüssig als Standardreflex.

Ein zusätzliches Argument für diese Reihenfolge ist die Modellentwicklung selbst: Jede neue Modellgeneration löst Aufgaben besser, an denen die vorige scheiterte. Ein Problem, das heute nur per Fine-Tuning lösbar scheint, erledigt das nächste Standardmodell womöglich ohne Zusatzaufwand — während das fine-getunte Modell an die alte Generation gebunden bleibt und der Trainingsaufwand beim Modellwechsel erneut anfällt. Wer flexibel bleibt, profitiert automatisch vom Fortschritt der Anbieter.

Wer Fine-Tuning erwägt, unterschätzt fast immer, wo die Arbeit wirklich liegt: nicht im Trainingslauf, der heute weitgehend automatisiert ist, sondern in der Zusammenstellung sauberer Beispieldaten. Gebraucht werden Paare aus Eingabe und gewünschter, geprüfter Ausgabe — konsistent, fehlerfrei und repräsentativ für die spätere Aufgabe. Widersprüchliche, veraltete oder unsaubere Beispiele lernt das Modell genauso mit; die alte Regel gilt hier besonders streng: Aus schlechten Beispielen wird ein schlechtes Modell.

Für die Praxis heißt das zweierlei. Erstens: Die Datenaufbereitung braucht Fachleute, die beurteilen können, was eine 'richtige' Ausgabe ist — sie lässt sich nicht an die Technik allein delegieren. Zweitens: Fine-Tuning muss bei jeder Änderung der Anforderung wiederholt werden, samt erneuter Datenpflege. Deshalb rechnet es sich vor allem bei stabilen, lange gültigen Aufgaben mit hohem Wiederholungsvolumen — etwa einem seit Jahren unveränderten Dokumentformat. Für alles, was sich häufig ändert, sind Prompt-Beispiele und RAG die pragmatischere Wahl, weil sie ohne neuen Trainingslauf angepasst werden können.