KI und Halluzinationen: Der Beleg ist besser als das Vertrauen

Ein Konstrukteur fragt einen KI-Chat nach der Mindestwandstärke für ein Gussteil. Die Antwort nennt einen Wert, eine Begründung und sogar einen Verweis auf einen Normabschnitt. Alles klingt stimmig. Nur: Der Abschnitt existiert nicht, und der Wert stammt aus keiner Richtlinie des Unternehmens. Solche erfundenen, aber überzeugend formulierten Antworten nennt man Halluzinationen.

Warum KI-Chats halluzinieren

Sprachmodelle erzeugen Text, der wahrscheinlich zur Frage passt. Sie prüfen nicht, ob er stimmt. Fehlt ihnen das nötige Wissen, etwa eine interne Vorgabe, füllen sie die Lücke mit Plausiblem. Das Risiko liegt weniger im offensichtlichen Fehler als im unauffälligen: Eine falsche Antwort im richtigen Ton erkennt man nur, wenn man sie nachprüft. Und genau dann geht der Zeitgewinn verloren, den man sich von der KI erhofft hatte.

Kontrolle statt blindem Vertrauen

"Vertrauen ist gut, Kontrolle ist besser" gilt im Konstruktionsalltag wörtlich. Drei Mechanismen machen KI-Antworten kontrollierbar:

• Belegpflicht: Jede Aussage verweist auf die Regel, aus der sie stammt. Wer nachprüfen möchte, öffnet die Regel und sieht Wert, Bedingung, Begründung und Quelle.
• Begrenzte Wissensbasis: Die KI antwortet nur aus geprüftem Material und nicht aus allgemeinem Modellwissen. Was dort nicht steht, wird nicht beantwortet.
• Freigabe durch Menschen: Nur geprüfte Regeln fließen in Antworten ein. Was die KI vorschlägt, entscheidet jemand, bevor es gilt.

Keiner dieser Mechanismen macht die KI klüger. Sie machen ihre Antworten überprüfbar, und darauf kommt es an.

So setzt konstruktionsrichtlinie.de das um

Der KI-Chat mit Beleg antwortet ausschließlich auf Basis der freigegebenen Regeln des eigenen Projekts und nennt zu jeder Aussage die zugehörige Regel. Deckt das Regelwerk eine Frage nicht ab, sagt der Chat das offen, statt eine Antwort zu erfinden. Ob Regeln verbindlich werden, entscheidet der Regel-Freigabe-Workflow: Vorschläge werden geprüft und von Menschen freigegeben.

Das Risiko verschwindet damit nicht vollständig. Ist eine freigegebene Regel falsch, ist es auch die Antwort. Der Unterschied liegt darin, dass der Fehler sichtbar wird und an einer Stelle behoben werden kann: in der Regel selbst. Wie eine belastbare Regel aussieht, beschreibt Was ist eine gute Konstruktionsregel?.

Was das für KI im Unternehmen bedeutet

Wer KI im Konstruktionsalltag einsetzt, sollte den Nachweis der Quelle zur Bedingung machen. Die Verlässlichkeit hängt dabei an den Regeln dahinter, wie der Beitrag Copilot, ChatGPT & Co. im Maschinenbau zeigt. Und ein Chat über lose Dokumente genügt dafür nicht, wie Warum ein Chat mit PDFs nicht reicht erläutert.

Fünf Prüffragen für jede KI-Antwort

• Nennt die Antwort ihre Quelle?
• Kann ich die Quelle mit einem Klick öffnen und lesen?
• Ist die Quelle geprüft und freigegeben?
• Gilt sie für meinen Fall, also für Bauteil, Werkstoff und Verfahren?
• Sagt das System, wenn es etwas nicht weiß?

Drei Mal Ja ist ein Anfang, fünf Mal Ja ist die Zielmarke. Testen Sie konstruktionsrichtlinie.de kostenlos und prüfen Sie die Antworten des KI-Chats selbst nach.