Kontextfenster

Man kann sich das Kontextfenster als Arbeitsgedächtnis vorstellen: Nur was darin steht, "sieht" das Modell bei der aktuellen Anfrage. Was herausfällt — etwa der Anfang eines sehr langen Gesprächs — ist für das Modell nicht mehr existent, sofern es nicht erneut mitgegeben wird.

Große Kontextfenster haben viele Anwendungen erst praktikabel gemacht: komplette Verträge prüfen, lange E-Mail-Verläufe zusammenfassen, mehrere Dokumente gleichzeitig vergleichen. Trotzdem gilt: Relevante Ausschnitte gezielt mitgeben (RAG) ist meist präziser und günstiger, als alles hineinzukippen.

Für dauerhafte KI-Agenten braucht es zusätzlich ein Langzeitgedächtnis außerhalb des Kontextfensters: eine Datenbank oder Wissensbasis, aus der der Agent bei jeder Aufgabe die relevanten Informationen nachlädt. So bleibt Firmenwissen dauerhaft verfügbar, ohne bei jeder Anfrage komplett mitgeschickt zu werden.

Die Kontextfenster sind in wenigen Jahren dramatisch gewachsen — von wenigen tausend Token auf hunderttausende bis über eine Million bei aktuellen Modellen. Das hat neue Anwendungsklassen eröffnet: ganze Vertragswerke in einem Durchgang prüfen, umfangreiche Codebasen analysieren, lange Projekthistorien auswerten.

Bekannt ist aber auch eine praktische Grenze: Bei sehr langen Kontexten sinkt die Aufmerksamkeit des Modells für Details in der Mitte des Textes — Informationen am Anfang und Ende werden zuverlässiger verarbeitet. Professionelle Systeme strukturieren lange Eingaben deshalb bewusst, setzen Wichtiges an die Ränder oder zerlegen die Aufgabe in Teilschritte, statt sich auf die schiere Fenstergröße zu verlassen.

Auch die Kostenseite spricht für Disziplin: Jedes Token im Kontextfenster wird bei jeder Anfrage berechnet — wer routinemäßig hunderttausende Token mitgibt, obwohl drei relevante Passagen reichen würden, vervielfacht die laufenden Kosten ohne Qualitätsgewinn. Techniken wie Prompt Caching (wiederkehrende Anweisungen werden zwischengespeichert und günstiger abgerechnet) mildern das ab, ersetzen aber nicht die gezielte Auswahl der Inhalte.

Bei lang laufenden Gesprächen — etwa einem Support-Chat über viele Nachrichten oder einem Agenten, der eine komplexe Aufgabe über viele Schritte bearbeitet — wächst der Verlauf stetig und droht das Kontextfenster zu füllen. Naiv den kompletten Verlauf bei jeder Anfrage mitzuschicken ist teuer und verwässert irgendwann die Präzision, weil das eigentlich Wichtige zwischen viel Beiläufigem untergeht.

Professionelle Systeme lösen das durch Verdichtung: Ältere Teile des Gesprächs werden vom Modell zu einer kompakten Zusammenfassung eingedampft, während die jüngsten Nachrichten im Wortlaut erhalten bleiben. So bleibt der rote Faden bestehen, ohne dass das Fenster überläuft. Ergänzend werden dauerhaft wichtige Fakten — Kundennummer, getroffene Entscheidungen, offene Punkte — in ein externes Gedächtnis ausgelagert und nur bei Bedarf zurückgeholt.

Für Auftraggeber ist das ein Qualitätsmerkmal, das man erfragen sollte: Wie geht das System mit langen Vorgängen um? Ein Assistent, der bei ausgedehnten Gesprächen den Anfang 'vergisst' oder plötzlich langsam und teuer wird, hat genau hier eine Lücke. Sauberes Kontextmanagement ist unsichtbar, wenn es funktioniert — und schmerzhaft spürbar, wenn es fehlt.