KI-Werkzeuge wie ChatGPT oder Microsoft Copilot erzeugen Texte nach Wahrscheinlichkeiten und geben keine Garantie, dass ihre Angaben stimmen. Das Bundesamt für Sicherheit in der Informationstechnik beschreibt, dass solche Modelle Inhalte erfinden können, die glaubhaft wirken, bis hin zu erfundenen Quellen. Falsche Antworten erkennt man deshalb nicht am Tonfall, sondern durch Prüfung: Zahlen, Namen und Daten gegenlesen, Quellen selbst aufrufen, Aktualität prüfen, Ergebnis mit eigenem Fachwissen abgleichen und bei Außenwirkung besonders sorgfältig sein. Wie gründlich geprüft wird, hängt davon ab, wofür das Ergebnis verwendet wird.
Wer mit ChatGPT, Microsoft Copilot oder einem vergleichbaren Werkzeug arbeitet, kennt den Moment: Die Antwort ist flüssig formuliert, gut gegliedert und klingt sicher. Und trotzdem stimmt eine Zahl nicht, ein Gesetz ist falsch zitiert oder eine Quelle existiert gar nicht. Das ist kein seltener Ausrutscher, sondern eine Eigenschaft der Technik. Wer das weiß und ein paar feste Prüfschritte hat, kann KI im Alltag gelassen und mit guten Ergebnissen nutzen.
Warum KI falsche Antworten liefert
Sprachmodelle erzeugen Texte, indem sie berechnen, welche Wörter mit hoher Wahrscheinlichkeit aufeinander folgen. Sie schlagen dabei nicht in einer geprüften Datenbank nach. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) schreibt in seiner Veröffentlichung zu generativen KI-Modellen, dass diese Modelle „keine oder unzureichende Garantien hinsichtlich der Qualität ihrer Ausgaben“ bieten. Fehler können aus den Trainingsdaten stammen, aber auch bei einwandfreiem Trainingsmaterial entstehen, weil die Ergebnisse auf Wahrscheinlichkeiten beruhen und von der Qualität der Eingabe abhängen.
Das BSI nennt zwei Punkte, die im Büroalltag besonders wichtig sind. Erstens erfinden Modelle mitunter Inhalte, die weder in der Eingabe noch in den Trainingsdaten vorkamen. Diese sogenannten Halluzinationen sind schwer zu erkennen, weil die Ausgaben meist glaubhaft erscheinen, gerade wenn auf Veröffentlichungen oder andere Belege verwiesen wird, die selbst frei erfunden sein können. Zweitens kennt ein Modell ohne Zugriff auf aktuelle Daten keine Ereignisse nach seinem Trainingszeitpunkt.
Auch die Anbieter weisen darauf hin. Microsoft schreibt in seiner Dokumentation zu Copilot, dass Antworten generativer KI nicht garantiert zu 100 Prozent sachlich richtig sind und vor der Weitergabe geprüft werden sollten.
Warum gute Formulierung kein gutes Zeichen ist
Menschen schließen aus einem sicheren, fehlerfreien Text gern auf einen richtigen Inhalt. Das BSI beschreibt genau diese Falle als Automation Bias: Weil KI-Modelle sprachlich fehlerfreie und schlüssige Texte erzeugen, kann ein zu großes Vertrauen in die Ausgaben entstehen. Nutzende ziehen dann falsche Schlüsse oder übernehmen Ergebnisse ungeprüft.
Für den Alltag heißt das: Der Tonfall einer Antwort sagt nichts über ihre Richtigkeit. Eine falsche Angabe klingt genauso überzeugend wie eine richtige. Erkennen lässt sie sich nur durch Prüfung.
Das BSI empfiehlt, Ausgaben generativer KI bei potenziell kritischen Auswirkungen zu überprüfen, bei Bedarf mit weiteren Quellen abzugleichen und vor der Verwendung von Hand zu überarbeiten. Besonders gilt das, wenn ein Ergebnis nach außen geht, etwa auf die eigene Website. Die Verantwortung für das Ergebnis trägt der Mensch, der es weitergibt, nicht das Werkzeug.
Fünf Prüfschritte für den Alltag
Die folgenden Schritte haben sich in Schulungen mit Teams bewährt. Sie brauchen kein technisches Wissen und lassen sich für jedes KI-Werkzeug anwenden.
- 1. Zahlen, Namen und Daten gegenlesen. Konkrete Angaben sind die häufigste Fehlerquelle: Beträge, Prozentwerte, Jahreszahlen, Fristen, Namen von Personen und Unternehmen, Paragrafen. Jede Angabe, die im weiteren Text eine Rolle spielt, gehört an einer unabhängigen Stelle bestätigt, etwa im Originaldokument, auf der Seite der zuständigen Behörde oder in den eigenen Unterlagen.
- 2. Quellen selbst aufrufen. Nennt die KI eine Quelle, öffnen Sie sie. Prüfen Sie, ob es sie gibt und ob dort tatsächlich steht, was die Antwort behauptet. Eine Quellenangabe allein ist kein Beleg, denn auch Titel, Autoren und Fundstellen können erzeugt sein.
- 3. Aktualität prüfen. Fragen Sie sich bei jedem Thema, das sich ändern kann: Ist das noch der Stand? Gesetze werden geändert, Preise und Produktnamen wechseln, Ansprechpartner ebenso. Bei Werkzeugen ohne Websuche ist das Wissen auf den Trainingszeitpunkt begrenzt.
- 4. Mit eigenem Fachwissen abgleichen. Lesen Sie das Ergebnis so, als käme es von einer neuen Kollegin, die das Thema noch nicht kennt. Passt es zu dem, was Sie aus Ihrer Arbeit wissen? Fehlt etwas Wichtiges? Wo Ihnen etwas merkwürdig vorkommt, lohnt es sich nachzuprüfen. Achten Sie dabei auch auf einseitige oder pauschale Aussagen über Personengruppen.
- 5. Die Prüftiefe nach dem Zweck wählen. Ein Entwurf für eine interne Notiz braucht weniger Aufwand als ein Angebot, eine Kundenmail oder ein Text für die Website. Je größer die Wirkung nach außen und je wichtiger die Entscheidung, die darauf beruht, desto gründlicher die Prüfung.
Hilfreich ist außerdem, schon die Aufgabe so zu stellen, dass sich das Ergebnis leichter prüfen lässt. Wenn Sie der KI das Ausgangsdokument mitgeben und nach den Stellen fragen, auf die sie sich stützt, können Sie gezielt nachlesen. Das BSI beschreibt, dass sich die Auswirkungen von Halluzinationen mildern lassen, wenn den Nutzenden angezeigt wird, auf welchen konkreten Textauszügen eine Antwort beruht. Welche Dokumente Sie dafür überhaupt in ein Werkzeug geben dürfen, zeigt der Beitrag Welche Daten dürfen Mitarbeiter in ChatGPT eingeben?
Was Unternehmen dafür tun können
Prüfen ist eine Fähigkeit, die sich lernen lässt. Das BSI empfiehlt, Nutzende so zu sensibilisieren, dass sie Ausgaben kritisch hinterfragen, anpassen und ihre Weiterverwendung bei Bedarf einschränken können. Arbeitgeber sollten nach dem BSI außerdem festlegen, welche KI-Anwendungen zu welchen Zwecken genutzt und wie die Ausgaben weiterverwendet werden dürfen. Auch die Datenschutzkonferenz rät in ihrer Orientierungshilfe zu KI und Datenschutz, Ergebnisse auf Richtigkeit zu prüfen und darauf zu achten, ob sie diskriminierend wirken.
Die Europäische Kommission nennt in ihren Antworten zur KI-Kompetenz ausdrücklich das Beispiel von Beschäftigten, die ChatGPT für Werbetexte oder Übersetzungen nutzen: Sie sollten über Risiken wie Halluzinationen informiert sein. Der Umgang mit falschen Antworten ist damit ein fester Bestandteil der KI-Kompetenz, um die es in Artikel 4 der KI-Verordnung geht. Welche weiteren Inhalte in eine Schulung gehören, beschreibt der Beitrag KI-Schulung für Mitarbeiter: Welche Inhalte gehören hinein?
Praktisch bewährt sich eine kurze Einheit mit Beispielen aus der eigenen Arbeit: Das Team bekommt einige KI-Antworten zu Themen aus dem Betrieb, darunter auch fehlerhafte, und sucht gemeinsam die Fehler. So wird aus einer abstrakten Regel eine Gewohnheit. Wenn Sie festhalten, wann und mit wem Sie das geübt haben, gehört das zugleich in Ihre Dokumentation, wie im Beitrag KI-Kompetenz nachweisen: Was gehört in die Dokumentation? beschrieben.
Häufige Fragen
Warum gibt ChatGPT falsche Antworten, obwohl sie überzeugend klingen?
Sprachmodelle erzeugen Texte nach Wahrscheinlichkeiten und prüfen ihre Angaben nicht an einer geprüften Quelle. Das BSI beschreibt, dass sie dabei Inhalte erfinden können, die glaubhaft erscheinen. Eine flüssige Formulierung sagt deshalb nichts darüber aus, ob der Inhalt stimmt.
Kann man sich auf die Quellenangaben von ChatGPT verlassen?
Nicht ohne Prüfung. Nach dem BSI können auch Verweise auf Veröffentlichungen oder andere Belege frei erfunden sein. Rufen Sie jede Quelle selbst auf und prüfen Sie, ob dort steht, was die Antwort behauptet.
Muss jedes KI-Ergebnis geprüft werden?
Jedes Ergebnis, das Sie weitergeben oder auf das Sie eine Entscheidung stützen, sollte geprüft werden. Wie gründlich, hängt vom Zweck ab: Ein interner Entwurf braucht weniger Aufwand als ein Text für Kunden oder die Website. Das BSI empfiehlt eine besonders sorgfältige Prüfung, wenn ein Ergebnis Außenwirkung hat.
Hilft es, die KI zu fragen, ob ihre Antwort stimmt?
Nur begrenzt. Auch die Antwort auf diese Nachfrage ist ein neu erzeugter Text und keine Prüfung. Verlässlich wird ein Ergebnis erst, wenn Sie die entscheidenden Angaben an einer unabhängigen Stelle bestätigt haben, etwa im Originaldokument oder bei der zuständigen Behörde.
Quellen
- Bundesamt für Sicherheit in der Informationstechnik: Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17.01.2025, Risiken R4 und R8, Maßnahmen M16 und M20, bsi.bund.de
- Microsoft Learn: Daten, Datenschutz und Sicherheit für Microsoft Copilot, aktualisiert 01.10.2026, learn.microsoft.com
- Datenschutzkonferenz: Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 vom 06.05.2024, Abschnitte 3.3 und 3.4, datenschutzkonferenz-online.de
- Europäische Kommission: AI Literacy, Questions & Answers, Stand 27.07.2026, digital-strategy.ec.europa.eu
Dieser Beitrag ordnet ein und gibt den Stand vom 28. Oktober 2026 wieder. Er ersetzt keine rechtliche Beratung im Einzelfall.


