KI-Sprachmodelle können nicht zuverlässig zwischen Überzeugungen einerseits und Wissen sowie Fakten andererseits unterscheiden

Image by SAMUEL GABRIEL from Pixabay

Es ist immer wieder erstaunlich, was wissenschaftliche Studien so ans Tageslicht bringen. Diesmal geht es darum, ob KI-Modelle gut zwischen dem unterscheiden können, was bekannt ist, und dem, was lediglich geglaubt wird. Dazu habe ich folgendes gefunden:

Die untersuchten Sprachmodelle können nicht zuverlässig zwischen Überzeugungen einerseits und Wissen sowie Fakten andererseits unterscheiden.
Quelle: Suzgun, M., Gur, T., Bianchi, F. et al. Language models cannot reliably distinguish belief from knowledge and fact. Nat Mach Intell 7, 1780–1790 (2025). https://doi.org/10.1038/s42256-025-01113-8

Das kann wiederum in sensiblen Bereichen schwerwiegende Auswirkungen haben. Gerade wenn es um gesundheitliche oder auch rechtliche Fragen geht:

„The distinction between knowledge and belief is important in practice. For example, a model used to support a medical diagnosis based on a patient’s mistaken belief, as opposed to an established fact, could reinforce an inaccurate diagnosis and treatment plan. In a legal setting, a model summarizing testimony that cannot tell the difference between what a witness believes and what is known could misrepresent evidence“ (Stanford University, AI Report 2026).

Es ist gut, wenn wir weiterhin positiv kritisch gegenüber Künstlicher Intelligenz bleiben und darauf bestehen, dass KI-Systeme transparent und nachvollziehbar sind. Die aktuellen proprietären KI-Modelle bieten das nicht, und sollten daher – wenn überhaupt – nur mit Vorsicht gerade in kritischen gesellschaftlichen und Unternehmens-Bereichen eingesetzt werden.

In der Zwischenzeit gibt es gute Alternativen. Die erfolgreiche Geschichte von Open Source KI zeigt, dass immer mehr Personen und Organisationen erkennen, dass dieser Weg ein Möglichkeit darstellt, leistungsfähige und dabei gleichzeitig auch transparente KI-Systeme einzusetzen.

Loyal Agents – it all starts with trust

Website: https://loyalagents.org/

KI-Agenten sind aktuell in aller Munde. Gerade in Software-Unternehmen wurde schon früh damit angefangen, Agenten zu nutzen: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen.

Im Außenverhältnis, z.B. mit Kunden , wird es schon schwieriger, KI-Agenten einzusetzen, da hier weitergehende Herausforderungen zu bewältigen sind. Es wundert daher nicht, dass es an dieser Stelle Forschungsbedarf gibt.

In dem Projekt Loyal Agents arbeiten dazu beispielsweise das Stanford Digital Economy Lab und Consumer Report zusammen. Worum es ihnen geht, haben sie auf der Website Loyal Agents so formuliert:

„Agentic AI is transforming commerce and services; agents are negotiating, transacting and making decisions with growing autonomy and impact. While agents can amplify consumer power, there is also risk of privacy breaches, misaligned incentives, and manipulative business practices. Trust and security are essential for consumers and businesses alike“ (ebd.).

Dass Vertrauen und Sicherheit eine besonders wichtige Bedeutung in den Prozessen mit der Beteiligung von KI-Agenten haben, wird hier noch einmal deutlich – It all starts with Trust. Ähnliche Argumente kommen von Bornet, der sich für Personalized AI Twins ausspricht:

Personal AI Twins represent a profound shift from generic to deeply personalized agents. Unlike today´s systems that may maintain the memory of past interactions but remain fundamentally the same for all users, true AI twins will deeply internalize an individual´s thinking patterns, values, communication style, and domain expertise“ (Bornet et al. 2025).

Möglicherweise können einzelne Personen in Zukunft mit Hilfe von Personalized AI Twins oder Loyal Agents ihre eigenen Ideen besser selbst entwickeln, oder sogar als Innovationen in den Markt bringen. Dabei empfiehlt sich aus meiner Sicht die Nutzung von Open Source AI – ganz im Sinne einer Digitalen Souveränität und im Sinne von Open User Innovation nach Eric von Hippel. Siehe dazu auch

Eric von Hippel (2017): Free Innovation

Von Democratizing Innovation zu Free Innovation