KI-Halluzination — IT-Definition
Erzeugung falscher oder erfundener Informationen durch ein generatives KI-Modell, mit derselben Sicherheit wie eine korrekte Antwort präsentiert.
Eine KI-Halluzination bezeichnet die Produktion einer falschen, erfundenen oder nicht überprüfbaren Information durch ein GenAI-Modell — typischerweise ein LLM — mit derselben Sicherheit wie eine korrekte Antwort. Das Modell «lügt» nicht im menschlichen Sinne: es sampelt in einem Wahrscheinlichkeitsraum ohne Ground Truth zur Kontrolle der Ausgabe.
Das Phänomen ist massiv: laut einer Stanford-Studie 2024 zu juristischen LLMs enthielten 17 bis 33 % der Antworten faktische Halluzinationen. Eine NEJM AI 2024 Übersicht maß bis zu 28 % klinische Fehler bei nicht-spezialisierten öffentlichen Modellen. Für eine IT-Leitung ist das heute das Haupthindernis für die Industrialisierung der GenAI bei kritischen Anwendungen.
Warum LLMs halluzinieren
Strukturelle Ursachen:
- •Statistisches Lernen: das Modell sagt das wahrscheinlichste nächste Wort voraus, nicht das wahrste.
- •Verrauschte Trainingsdaten: .
- •Stichtag (Knowledge cutoff): .
- •Out-of-distribution: .
- •Kompression: .
Arten von Halluzinationen
- •Faktische Halluzinationen: .
- •Reasoning-Halluzinationen: .
- •Anweisungs-Halluzinationen: .
- •Quellen-Halluzinationen: ein Artikel, ein Urteil, ein Buch zitieren, das nicht existiert.
- •Fähigkeits-Halluzinationen: (typischer Fall für KI-Agenten).
Erkennen und reduzieren
- •[RAG](/de/glossary/rag): Antworten auf verifizierten internen Quellen verankern.
- •Fine-tuning: Modell auf qualitativ hochwertigen Geschäftsdaten trainieren.
- •Defensives Prompt Engineering: .
- •Self-consistency / chain-of-thought: .
- •Verifikation durch ein zweites LLM: (judge model).
- •Obligatorische Zitation: .
- •Human-in-the-Loop: .
- •Spezialisierte Modelle: .
Messen der Halluzinationsrate
Öffentliche Benchmarks: TruthfulQA, HaluEval, HELM (Stanford), Vectara HHEM.
Intern: ein Eval-Set spezifisch für das Unternehmen erstellen, mit Fragen, deren richtige Antwort bekannt ist.
Halluzinationen und Verantwortung
Jüngste Rechtsprechungen haben erinnert, dass der Nutzer für den erzeugten Inhalt verantwortlich bleibt. 2023 wurde ein amerikanischer Anwalt sanktioniert, weil er in einem Plädoyer Urteile zitierte, die von ChatGPT erfunden waren. Die DSGVO und der EU AI Act sowie ISO 42001 verlangen heute Mess- und Reduktionsdispositive.
Kabeen und verifizierter Kontext
Einem LLM oder einem KI-Agenten genauen Kontext über das SI zu geben (welche Anwendung existiert, wer ist Eigentümer, wie ist die reale Nutzung) vermeidet die Mehrzahl der geschäftlichen Halluzinationen. Kabeen exponiert genau diesen lebenden Kontext — per API oder via MCP.
Häufig gestellte Fragen
Was ist eine Halluzination in der KI?
+
Eine Halluzination ist die Produktion einer falschen, erfundenen oder nicht überprüfbaren Information durch ein generatives KI-Modell — typischerweise ein LLM — mit derselben Sicherheit wie eine korrekte Antwort. Das Modell lügt nicht: es sampelt in einem Wahrscheinlichkeitsraum ohne Ground Truth. Es ist das Haupthindernis für die Industrialisierung der GenAI bei kritischen Anwendungen.
Warum halluzinieren LLMs?
+
Die Ursachen sind strukturell: statistisches Lernen (das Modell sagt das wahrscheinlichste nächste Wort voraus, nicht das wahrste), verrauschte Trainingsdaten, Stichtag (Knowledge cutoff), Out-of-Distribution-Themen (im Korpus unterrepräsentiert) und intrinsische Kompression (ein Modell mit 70B Parametern kann nicht das gesamte Internet auswendig lernen, es interpoliert).
Wie reduziert man die Halluzinationsrate?
+
Fünf kombinierbare Hebel: (1) RAG zur Verankerung der Antworten auf verifizierten Quellen, (2) Fine-Tuning auf qualitativ hochwertigen Geschäftsdaten, (3) defensives Prompt Engineering («zitiere deine Quellen», «sage ich weiß es nicht, wenn nötig»), (4) Verifikation durch ein zweites LLM (judge model), (5) Human-in-the-Loop bei kritischen Anwendungen. Keiner dieser Hebel beseitigt das Risiko vollständig; die Kombination reduziert es drastisch.
Wer haftet für eine KI-Halluzination?
+
In den meisten jüngsten Rechtsprechungen bleibt der Nutzer oder Deployer für den erzeugten Inhalt verantwortlich, nicht der Hersteller des Modells. Ein US-Anwalt wurde 2023 sanktioniert, weil er von ChatGPT erfundene Urteile zitierte. Die DSGVO verlangt zudem ein Recht auf Richtigkeit personenbezogener Daten, und der EU AI Act sowie ISO 42001 verlangen heute Mess- und Reduktionsdispositive.
Alle Begriffe
5R-Methode
Eine Strategie bei der Anwendungsrationalisierung zur Bestimmung des besten Ansatzes für das Anwendungsmanagement.
8R-Methode
Eine erweiterte Version der 5R-Methode für Application Portfolio Management und Migrationsstrategien.
Anwendung
Ein Computerprogramm oder eine Reihe von Programmen zur Rationalisierung von Geschäftsabläufen.
Architektur
Bezieht sich auf die Struktur und das Verhalten von IT-Systemen, Prozessen und Infrastruktur innerhalb einer Organisation.
Brauchen Sie Hilfe bei der Kartierung Ihrer IT-Landschaft?
Kabeen hilft Ihnen, Ihr Anwendungsportfolio zu inventarisieren, zu analysieren und zu optimieren.