> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/de/2025/w37-hallucinations-and-uncertainty-in-llms.md).

# W37-Halluzinationen und Nichtdeterminismus bei LLMs

Vergangene Woche erschienen zwei wichtige Forschungsbeiträge, einer von OpenAI und einer von Thinking Machines. Der erste erklärt, warum große Modelle halluzinieren. Der zweite prüft die Ursache ihres Nichtdeterminismus. Beide enthalten viele überraschende Einsichten und echtes neues Wissen.

Der erste ist OpenAIs [Warum Sprachmodelle halluzinieren](https://openai.com/index/why-language-models-hallucinate/). Wer wenig Zeit hat, kann direkt die Schlussfolgerungen lesen.

Das überraschende Ergebnis: Höhere Genauigkeit beseitigt Halluzinationen nicht vollständig, weil viele Fragen der realen Welt keine eindeutige Antwort haben. Halluzinationen lassen sich aber vollständig vermeiden, wenn Modelle sich enthalten und „Ich weiß es nicht“ sagen dürfen. Ihre derzeit hohe Häufigkeit liegt an falsch gewählten Bewertungen und Messgrößen. Training sollte nicht nur Genauigkeit beachten, sondern auch Fehlerrate, Enthaltungsrate und die Kalibrierung der Sicherheit.

Ein weiterer Artikel über Produktarchitektur, [Ein Leitfaden für Produktmanager zur KI-Agentenarchitektur: Warum Fähigkeit nicht gleich Nutzung ist](https://substack.com/home/post/p-172725542), beschreibt Halluzinationskontrolle aus Sicht des Nutzervertrauens. Eine zunächst überraschende Aussage lautet: Unsicherheit einzugestehen fördert die Nutzung stärker als selbstsichere Fehler. Wenn ein Modell unsicher ist, bauen Enthaltung und transparente Erklärung langfristig mehr Vertrauen auf als überzeugendes Raten. Der Autor betont eine Vertrauensebene aus Sicherheitshinweisen, nachvollziehbarer Begründung, Bestätigungs- und Erlaubnismodi, sauber behandelten Grenzen und Übergabe an Menschen.

Mein möglicherweise nicht ganz zutreffendes Verständnis lautet: Heutige Modelle neigen zu geringer Präzision und hoher Trefferabdeckung. Um Halluzinationen zu vermeiden und Vertrauen zu erhöhen, sollten Belohnungsmodelle sie stärker auf hohe Präzision und geringere Abdeckung trainieren. Anders gesagt: zuerst den Anteil richtiger Aussagen stabilisieren, dann den Bereich erweitern, in dem sie überhaupt eine Aussage wagen.

Der zweite Beitrag ist Thinking Machines’ [Nichtdeterminismus bei der LLM-Inferenz überwinden](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/). Es ist das erste öffentlich vorgestellte Ergebnis seit der Gründung Anfang des Jahres. Für Q4 wird angeblich ein wichtiger technischer Fortschritt erwartet. Das Unternehmen ist auch die letzte Modellfirma des Silicon Valley, auf die sich noch breite Erwartungen richten.

Üblicherweise wird der Nichtdeterminismus von LLM-Inferenz auf gleichzeitige GPU-Kernels und atomare Additionen zurückgeführt. Der Artikel sagt dagegen, dass in typischen LLM-Vorwärtsdurchläufen überhaupt keine atomaren Additionen vorkommen. Die eigentliche Ursache sei, dass die Kernels gegenüber Batchgröße und Aufteilung unempfindlich seien, ihnen also Batch-Invarianz fehle. Werden zentrale Operatoren wie RMSNorm, MatMul und Attention batchinvariant gestaltet, liefert dieselbe Eingabe unter beliebiger paralleler Last genau dieselbe Ausgabe.

Thinking Machines prüfte das mit Qwen3. Der Prompt lautete „Tell me about Richard Feynman“, temperature war 0. Tausendmal wurden jeweils 1000 Tokens erzeugt. Alle 1000 Ergebnisse waren vollständig gleich, allerdings mit etwas geringerer Performance.

Zur praktischen Bedeutung für Modellanwendungen gab mir KI folgende Antworten.

1. Für Fine-Tuning und Verbesserungen mehrstufiger Dialogstrategien ist das ein wichtiger Schritt, um die Wirksamkeit von Änderungen aus dem Bereich des Bauchgefühls ins Engineering zu holen.
2. Identische Antworten bei temperature=0 können das Misstrauen durch unterschiedliche Antworten auf dieselbe Frage stark verringern. Das gilt besonders für Frage-Antwort-Systeme, Suchumschreibungen, Empfehlungstexte, automatischen Kundendienst und Risikoerklärungen, die verlässliche Formulierungen brauchen.
3. Die Zusage „gleiche Eingabe, gleiche Ausgabe“ ist in stark regulierten Bereichen wie Finanzen, Medizin und öffentlichen Organisationen eine Grundlage für Nachvollziehbarkeit und Verantwortungszuordnung, wo Stabilität, Erklärbarkeit und Prüfbarkeit verlangt werden.