Technik
KI-Halluzination
Kurz beantwortet
Eine KI-Halluzination liegt vor, wenn ein Sprachmodell eine Aussage sicher und überzeugend formuliert, die tatsächlich falsch oder frei erfunden ist — etwa eine nicht existierende Quelle oder eine falsche Zahl. Grund: Das Modell erzeugt statistisch plausiblen Text, keine geprüften Fakten.
Warum Modelle halluzinieren
Ein Sprachmodell hat kein eingebautes Konzept von "wahr" — es setzt Text so fort, wie es statistisch plausibel gelernt hat. Fehlt das nötige Wissen, entsteht trotzdem eine flüssige Antwort: erfundene Paragrafen, falsche Produktdetails, nicht existierende Ansprechpartner. Gefährlich ist dabei vor allem der souveräne Ton, der Fehler schwer erkennbar macht.
Halluzinationen sind besonders riskant, wenn ein KI-System ungeprüft im Kundenkontakt oder in offiziellen Dokumenten eingesetzt wird. Deshalb gehören Gegenmaßnahmen zu jedem seriösen KI-Projekt — sie sind Architekturfrage, nicht Glückssache.
Wirksame Gegenmaßnahmen
Die wichtigsten Hebel: Antworten auf echte Datenquellen stützen (Retrieval-Augmented Generation) und Quellenangaben erzwingen; die Zuständigkeit des Systems klar begrenzen ("wenn nicht in der Wissensbasis, dann sag, dass du es nicht weißt"); und Human-in-the-Loop bei allem, was Außenwirkung hat — der Mensch prüft, bevor etwas rausgeht.
Zusätzlich helfen Prüf-Schritte im Agenten selbst: Ein zweiter Prüf-Durchlauf, der Aussagen gegen die Quelldokumente abgleicht, fängt einen Großteil der Restfehler ab.
Halluzinationen richtig einordnen: Risiko je nach Einsatz
Nicht jeder Einsatz ist gleich riskant. Bei kreativen Aufgaben (Textentwürfe, Brainstorming) sind gelegentliche Ungenauigkeiten unkritisch, weil ein Mensch das Ergebnis ohnehin bearbeitet. Bei Faktenauskünften im Kundenkontakt, in Angeboten oder in Compliance-Themen ist die Toleranz null — dort müssen Quellenbindung und Freigaben zwingend eingebaut sein.
Diese Unterscheidung gehört an den Anfang jedes Projekts: Für jeden Prozessschritt wird festgelegt, welche Fehlertoleranz gilt und welche Absicherung daraus folgt. So entsteht ein System, das an den kritischen Stellen streng abgesichert ist, ohne die unkritischen mit unnötiger Bürokratie zu bremsen.
Typische Muster: wo Halluzinationen besonders lauern
Halluzinationen verteilen sich nicht zufällig — sie häufen sich an vorhersehbaren Stellen, und wer diese kennt, prüft gezielter. Besonders anfällig sind präzise Einzelangaben: exakte Zahlen, Datumsangaben, Aktenzeichen, Paragrafen, Namen und Quellenverweise. Gerade erfundene Quellen sind heimtückisch, weil sie täuschend echt aussehen. Auch reines Rechnen ist eine klassische Schwachstelle: Ein Sprachmodell 'schätzt' das Ergebnis oft eher, als es zuverlässig zu berechnen — weshalb Zahlenlogik besser an echte Rechenwerkzeuge ausgelagert wird.
Ein zweites Muster: Je weiter eine Frage vom abgedeckten Wissen entfernt liegt, desto größer die Erfindungsneigung — statt 'weiß ich nicht' zu sagen, füllt das Modell die Lücke plausibel auf. Dagegen hilft die ausdrückliche Erlaubnis zum Nichtwissen im System-Prompt und die Bindung an belegte Quellen. Für den Alltag lässt sich das zu einer einfachen Prüf-Heuristik verdichten: Bei jeder konkreten Zahl, jedem Zitat und jeder rechtlich oder finanziell relevanten Aussage lohnt der kurze Blick auf die Quelle — genau dort sitzen die riskanten Fehler, während allgemeine Erläuterungen und Zusammenfassungen meist verlässlich sind.
Praxisbeispiel
Ein ungesicherter Chatbot sagte einem Kunden eine Garantieverlängerung zu, die es nie gab — das Modell hatte sie schlicht erfunden. Nach Umbau auf RAG mit Quellenbindung antwortet das System nur noch aus den echten Garantiebedingungen und übergibt bei allem anderen an einen Menschen.
Häufige Fragen zu KI-Halluzination
Werden Halluzinationen mit neuen Modellen verschwinden?
Sie werden seltener, aber das Grundprinzip (statistische Texterzeugung) bleibt. Für den Unternehmenseinsatz gilt daher unabhängig vom Modell: Quellenbindung und Freigaben einbauen.
Wie erkenne ich eine Halluzination?
Am schwersten am Ton — der ist immer souverän. Verlässlich hilft nur die Quellenprüfung: Gute Systeme liefern deshalb zu jeder Aussage die Fundstelle mit.
Haftet das Unternehmen für halluzinierten Unsinn seines Chatbots?
Aussagen eines Unternehmens-Chatbots können dem Unternehmen zugerechnet werden — ein Grund mehr, Zuständigkeit zu begrenzen, Quellen zu binden und kritische Antworten freigeben zu lassen. Rechtsfragen im Einzelfall gehören zum Anwalt.
Bei welchen Angaben ist besondere Vorsicht geboten?
Bei präzisen Einzelangaben: exakten Zahlen, Datumsangaben, Aktenzeichen, Paragrafen, Namen und Quellenverweisen — hier häufen sich Erfindungen. Auch reines Rechnen ist heikel und gehört an echte Rechenwerkzeuge ausgelagert. Allgemeine Erläuterungen und Zusammenfassungen sind dagegen meist verlässlich.
Wie relevant ist das für Ihren Betrieb?
Im kostenlosen Erstgespräch schauen wir uns Ihren konkreten Prozess an.