KI-Sprachmodelle können nicht zuverlässig zwischen Überzeugungen einerseits und Wissen sowie Fakten andererseits unterscheiden

Image by SAMUEL GABRIEL from Pixabay

Es ist immer wieder erstaunlich, was wissenschaftliche Studien so ans Tageslicht bringen. Diesmal geht es darum, ob KI-Modelle gut zwischen dem unterscheiden können, was bekannt ist, und dem, was lediglich geglaubt wird. Dazu habe ich folgendes gefunden:

Die untersuchten Sprachmodelle können nicht zuverlässig zwischen Überzeugungen einerseits und Wissen sowie Fakten andererseits unterscheiden.
Quelle: Suzgun, M., Gur, T., Bianchi, F. et al. Language models cannot reliably distinguish belief from knowledge and fact. Nat Mach Intell 7, 1780–1790 (2025). https://doi.org/10.1038/s42256-025-01113-8

Das kann wiederum in sensiblen Bereichen schwerwiegende Auswirkungen haben. Gerade wenn es um gesundheitliche oder auch rechtliche Fragen geht:

„The distinction between knowledge and belief is important in practice. For example, a model used to support a medical diagnosis based on a patient’s mistaken belief, as opposed to an established fact, could reinforce an inaccurate diagnosis and treatment plan. In a legal setting, a model summarizing testimony that cannot tell the difference between what a witness believes and what is known could misrepresent evidence“ (Stanford University, AI Report 2026).

Es ist gut, wenn wir weiterhin positiv kritisch gegenüber Künstlicher Intelligenz bleiben und darauf bestehen, dass KI-Systeme transparent und nachvollziehbar sind. Die aktuellen proprietären KI-Modelle bieten das nicht, und sollten daher – wenn überhaupt – nur mit Vorsicht gerade in kritischen gesellschaftlichen und Unternehmens-Bereichen eingesetzt werden.

In der Zwischenzeit gibt es gute Alternativen. Die erfolgreiche Geschichte von Open Source KI zeigt, dass immer mehr Personen und Organisationen erkennen, dass dieser Weg ein Möglichkeit darstellt, leistungsfähige und dabei gleichzeitig auch transparente KI-Systeme einzusetzen.

Neue Broschüre „Patient Customized Engineering“ erschienen

Nachdem die Massenproduktion von Gesundheitsdienstleistungen und -produkten nun langsam aber sicher an ihre (Verschwendungs-)Grenzen stößt, werden individuelle Dienstleistungen und Produkte im Gesundheitswesen immer stärker gefragt. Schon 2007 habe ich in dem Beitrag Personalisierte Medizin stellt einen Zukunftsmarkt dar – Mass Customization and Personalization im Gesundheitswesen darauf anhand eines Fraunhofer-Beitrags hingewiesen. Die nun vorliegende Broschüre „Patient Customized Engineering“ geht über die Personalisierung von Medizin hinaus und ist auf das Customized Engineering insgesamt ausgerichtet. Der Engineering-Begriff geht ursprünglich auf das Scientific Management zurück: „In der Umsetzung handelt es sich immer um Arbeitsgestaltung“ (Quelle: Wikipedia) und weniger um das Wohl des Menschen…? Weiterhin werden die Begriffe Customization und Personalization nicht deutlich unterschieden (Siehe dazu Verwirrende Begriffsvielfalt), geschweige denn, Open Innovation, Co-Creation oder sogar User Innovation erwähnt. Gerade letzeres ist allerdings sehr aktuell, denn das Projekt Patient Innovation stellt den Patienten in den Mittelpunkt der Betrachtungen und ermöglicht über eine Plattform den Austausch von selbst entwickelten Lösungen. Oftmals sind es Problemlösungen, die die Industrie nicht anbietet, weil es sich „nicht rechnet“. Auf der Konferenz Leading Open Innovation in München wurden einige solcher interessanten Beispiele genannt. Siehe dazu auch Corral, M. (2010): Put User in the Center for Services und What is Patient Innovation?

Mass Customization in der Medizin: Für jeden Menschen den richtigen Wirkstoff

Betreuung12.jpgIn dem Beitrag Für jeden Menschen den richtigen Wirkstoff berichtet Silvia von der Weiden (Die Welt vom 30.11.2007, S. 31) von den Möglichkeiten einer individualisierten Medizin und darüber, dass die Europäische Zulassungsbehörde für Arzneimittel in London eine entsprechende Arbeitsgruppe eingerichtet hat. Die Notwendigkeit von individuelleren Arzneimitteln, ist jedem Laien klar. Dieses „Bauchgefühl“ wird nunmehr von immer mehr Studien belegt. In dem oben genannten Artikel wird eine Studie der Hans-Böckler-Stiftung erwähnt die zum Ergebnis kommt, dass z.B. „etwa Wirkstoffe gegen Asthma, Bluthochdruck, Depression, Diabetes, erhöhte Blutfettwerte oder Multiple Sklerose in zehn bis 75 Prozent der Fälle keine Wirkung zeigen“. Von den unerwünschten Nebenwrikungen ganz zu schweigen… Individualisierte Medizin ist ein Aspekt von vier, die zu Mass Customization in der Medizin gehören (Vier Ebenen von Mass Customization).  Siehe dazu auch

  1. Personalisierte Medizin
  2. Wissensmanagement in der Medizin
  3. Halbwissen in Weiß

Stertz, A. (2006): Wissensmanagement in der Medizin

Betreuung2005.jpgIn der Sonderausgabe MedicDAT ist der Artikel Wissensmanagement in der Medizin von Andrea Stertz erschienen. Darin beschreibt die Autorin zunächst die Notwendigkeit von Wissensmanagement in der Medizin und anschließend den Ansatz von Probst et al.. Allerdings versäumt sie es, zunächst den Unterschied zwischen Information und Wissen deutlicher herauszustellen (Siehe Wissenstreppe). Das hat zur Konsequenz, dass das Thema „Wissensmanagement in der Medizin“ etwas abdriftet in Richtung „Informationsmanagement in der Medizin“ (Siehe dazu auch den Beitrag Halbwissen in Weiss). Ähnlich verhält es sich mit dem Beitrag von Reng, C.-M.: MedicDAT – Wissen sichtbar machen. Ich bin gespannt, ob die Branche den Zusammenhang zwischen Daten, Informationen, Wissen und Kompetenz deutlicher herausarbeitet, denn das ist die Voraussetzung dafür, ein angemessenes Management zu betreiben.

Personalisierte Medizin stellt einen Zukunftsmarkt dar – Mass Customization and Personalization im Gesundheitswesen

Im Fraunhofer Magazin 2/2007 wird auf Seite 32 über den Zukunftsmarkt der personalisierten Medizin berichtet: „Die personalisierte Medizin stellt einen Zukunftsmarkt dar – sei es bei der Prävention von Krankheiten, der Fernbetreuung von Patienten mit Schlafstörungen oder beim mobilen Gesundheitsassistenten. Um medizintechnische Ideen schneller als bisher in Produkte zu überführen, startet am 30. November in Erlangen das Innovationscluster »Personal Health«.“ Auf der dazugehörenden Website des Fraunhofer Instituts findet man dann noch weitere Informationen zum Projekt. Weg von den Standardprodukten, die die Menschen nicht als Individuen ansieht, sondern als Erwachsene oder Kinder (Siehe Beipackzettel bei Medikamenten). Wie können solche (Standard-) Medikamente dem einzelnen Menschen helfen, ohne auf der anderen Seite gleichzeitig zu schaden? Früher waren es die Apotheker, die die Medizin für jede Person gemischt haben (in vielen anderen Regionen der Welt auch heute noch mit großem Erfolg). Heute ist es industriell geprägte, technische Medizin, die sich scheinbar überall durchgesetzt hat. Diese Medizin ist teuer und nicht individuell/persönlich genug, um wirksam zu sein. In der heutigen Zeit ist es allerdings möglich, personalisierte Medzin auch zu erschwinglichen Preisen anzubieten. Die Wettbewerbsstrategie dazu heißt Mass Customization and Personalization.

Bredl, K. (2005): Kompetenz von Beratern. Analyse des Kompetenzerwerbs bei Unternehmensberatern im Kontext der Expertiseforschung

Die Dissertation von Klaus Bredl enthält eine gute Übersichte zur Expertiseforschung und gibt einen Einblick in den Stand der Kompetenzdebatte. Aus dieser Perspektive wird die Domäne eines Unternehmensberaters beleuchtet: „Die Entwicklung zu einem kompetenten Unternehmensberater erfordert umfassendes beratungsrelevantes Wissen, welches in einer Art und Weise erworben und organisiert werden muss, so dass schnell darauf zugegriffen und es unmittelbar in verschiedenen Beratungssituationen angewendet werden kann. Aber im Gegensatz zu einem Fachgebiet wie der Medizin besitzt die Unternehmensberatung keine einheitliche Wissensbasis.“ Es ist also nicht so einfach, ein guter Unternehmensberater zu sein…