PIPELINEKI-Wissen
Warum KI Dinge erfindet — und wie man das im Betrieb abstellt
Erfundene Antworten sind kein Fehler des Modells, sondern eine Folge seiner Funktionsweise. Deshalb hilft nur ein Aufbau, der sie unmöglich macht.
Ein Sprachmodell erzeugt wahrscheinliche Fortsetzungen von Text. Es hat kein Konzept von „ich weiß es nicht" — es hat nur Wahrscheinlichkeiten. Eine plausibel klingende falsche Antwort ist für das Modell nicht von einer richtigen unterscheidbar.
01
Warum es passiert
Ein Sprachmodell erzeugt wahrscheinliche Fortsetzungen von Text. Es hat kein Konzept von „ich weiß es nicht" — es hat nur Wahrscheinlichkeiten. Eine plausibel klingende falsche Antwort ist für das Modell nicht von einer richtigen unterscheidbar.
02
Was nicht hilft
Das Modell zu bitten, nichts zu erfinden. Das senkt die Häufigkeit ein wenig und beseitigt das Problem nicht.
03
Was hilft
Drei Dinge zusammen: Antworten nur aus einer geprüften Quelle zulassen, die Quelle in der Antwort ausweisen, und einen definierten Ausweg für den Fall vorsehen, dass nichts gefunden wird. Der dritte Punkt ist der wichtigste und wird am häufigsten weggelassen.
04
Der Test vor dem Livegang
Fragen stellen, deren Antwort nicht in den Unterlagen steht. Ein gut gebauter Bot sagt, dass er es nicht weiß, und leitet weiter. Ein schlecht gebauter erfindet etwas — und das merkt man dann beim Kunden.
05
Ein Beispiel aus der Praxis
Ein Chatbot ohne Quellenbindung beantwortet die Frage nach einer bestimmten Garantiefrist mit einer plausibel klingenden, aber falschen Zahl — niemand merkt es, bis eine Kundin sich darauf beruft. Mit Quellenbindung hätte der Bot entweder die richtige Frist aus der Garantiebedingung zitiert oder ehrlich gesagt, dass er es nicht weiß.
Fragen
Häufige Fragen
Sind neuere Modelle nicht einfach besser darin, nicht zu erfinden?
Sie sind besser, aber das Problem bleibt grundsätzlich bestehen — es ist keine Frage der Modellgeneration, sondern der Funktionsweise. Ein System ohne Quellenbindung wird immer gelegentlich etwas erfinden, ganz gleich wie neu es ist.
Wie oft passiert das in der Praxis?
Ohne Gegenmaßnahmen bei kniffligen oder seltenen Fragen spürbar häufig. Mit sauberer Quellenbindung und einem definierten Ausweg sinkt die Rate auf ein Niveau, bei dem der verbleibende Rest fast immer als ich weiß es nicht abgefangen wird statt als falsche Behauptung.
Kann man das nachträglich in ein bestehendes System einbauen?
Ja, meistens ohne alles neu zu bauen. Die Quellenbindung und der definierte Ausweg lassen sich in eine bestehende Konfiguration nachrüsten — der Aufwand liegt im Testen, nicht im Neubau.
Wie testet man das systematisch, statt nur ein paar Fragen auszuprobieren?
Mit einer festen Liste aus echten Anfragen, darunter bewusst welche, deren Antwort nicht in den Unterlagen steht. Diese Liste wird nach jeder Änderung erneut durchlaufen — das ist der Unterschied zwischen Zufallsstichprobe und echtem Test.
Nächster Schritt
Reden wir kurz darüber, ob sich das bei euch rechnet.
Ein Gespräch von zwanzig Minuten reicht meistens, um zu klären, ob ein Projekt Sinn hat. Wenn nicht, sagen wir das — das ist billiger für beide Seiten als ein Angebot, das niemand braucht.