Künstliche Intelligenz, stochastische Papageien und das chinesische Zimmer

Image by Ilona Frey from Pixabay

Bei Künstlicher Intelligenz geht es oft um einen Input, z.B. einen Prompt, und ein Ergebnis. Was dazwischen passiert, wissen wir oft nicht und ist gerade in proprietären KI-Modellen wie eine Art Black Box. Auf Basis des Ergebnisses erfolgt dann oft eine Art Zuschreibung an die Black Box wie „Beeindruckendes Ergebnis“ oder sogar „Intelligenz“ – eben „Künstliche Intelligenz“. Dass dieses Vorgehen kritisch zu bewerten ist, habe ich in verschiedenen Blogbeiträgen erläutert. Siehe dazu beispielsweise KI und Anthropomorphismus: Warum schreiben wir Software menschliche Eigenschaften zu?

Doch wie kann man sich diese Black Box und ihre Funktionsweise vorstellen? Large Language Models (LLMs) zerlegen Eingaben in kleine Einheiten, den Tokens. Das nächste Token wird anschließend mit einer gewissen Wahrscheinlichkeit bestimmt, sodass manche LLMs auch als eine Art stochastische Papageien beschreiben (Bender at al. 2021). Der Philosoph Searle hat dazu ein Gedankenexperiment (Wikipedia) beschrieben, zu dem ich folgende Kurzfassung gefunden habe:

„Man stelle sich eine Person vor, die in einem Zimmer sitzt und die von außen Zettel mit chinesischen Schriftzeichen erhält. Die Person selbst spricht kein Chinesisch. In dem Raum befindet sich jedoch ein Regelbuch, in dem zu finden ist, wie auf die Zeichen mit anderen Schriftzeichen zu reagieren ist. Die Person folgt diesen Anweisungen und gibt die entsprechenden Antworten. Für eine Person außerhalb des Chinesischen Zimmers, so Searles Gedanke, kann der Eindruck entstehen, als würde die Person innerhalb des Zimmers fließend Chinesisch sprechen. Über die Person innerhalb des Zimmers zu sagen, sie verstehe Chinesisch, sei aber im Grunde nichts anderes, als über einen Computer (oder eine KI) zu sagen, sie könne wirklich eine Sprache sprechen und verstehen, nur weil sie in der Lage ist, einen entsprechenden Output zu produzieren (für den aktuellen Diskussionsstand siehe Cole, 2024)“ (Breuer et al. (2026). Künstliche Intelligenz: Neue Technologie, bekannte Fragen? Eine Perspektive der Fachgruppe Medienpsychologie, in Psychologische Rundschau, vol. 77, no. 4, pp. 249–254, Oct. 2026, doi: 10.1026/0033-3042/a000785).

Da sich Searle mit seinem Gedankenexperiment auf die damals (1980er Jahre) üblichen Computersysteme bezogen hat, wird es natürlich von Vertretern der heuteigen KI-Modelle als unangemessen kritisiert. Dennoch ist es erstaunlich, dass Experten aus dem Bereich der Medienpsychologie durchaus Ähnlichkeiten mit der Black Box bei KI-Modellen sehen.

Entscheidend ist für sie: „Mustererkennung und Musterproduktion haben nichts mit echtem Verstehen gemeinsam“ (ebd.).

KI-basierte Zusammenfassungen – effizient und tückisch

Image by Steve Buissinne from Pixabay

In meinem letzten Blogbeitrag ging es um die Frage, ob Künstliche Intelligenz eine einfache Weiterentwicklung bestehender Automatisierungstendenzen ist. Automatisierungen werden durchgeführt, wenn es um Effizienz geht. Erfolgreich umgesetzte Effizienzgewinne durch KI treiben dann wiederum den Einsatz von Künstlicher Intelligenz usw. .

An dem kleinen Beispiel der KI-basierten Zusammenfassungen wird gezeigt, dass so ein Vorgehen tückisch sein kann.

Zunächst einmal ist es für viele lästig, lange Texte zu lesen. Es ist dann hilfreich, wenn man eine KI-basierte Zusammenfassung erhält – Time is Money. Das kann die Zusammenfassung eines Berichts, eines Meetings oder sogar eines Buchs sein.

Dabei wird allerdings nicht beachtet, dass die Effizienzgewinne auf Kosten einer aktiven Auseinandersetzung gehen.

„Auch KI-basierte Zusammenfassungen (z.B. von Suchmaschinenergebnissen) stellen im Kontext von Informationsvermittlung ein spezifisches Risiko dar, da sie kognitive Effizienzgewinne auf Kosten einer aktiven Auseinandersetzung bieten. Aus medienpsychologischer Sicht behindern sie eine relevante Form der Medienkompetenz, die bei der Internetsuche gut dokumentiert ist: Die Auswahl von glaubwürdiger Information auf Basis von Quellenangaben (Winter & Krämer, 2012)“ (Breuer et al. (2026). Künstliche Intelligenz: Neue Technologie, bekannte Fragen? Eine Perspektive der Fachgruppe Medienpsychologie, in Psychologische Rundschau, vol. 77, no. 4, pp. 249–254, Oct. 2026, doi: 10.1026/0033-3042/a000785).

Die überall erwartete Medienkompetenz von Einzelpersonen, oder auch Mitarbeitern in Unternehmen, wird behindert. Dabei wird ausdrücklich darauf hingewiesen, dass die Auswahl glaubwürdiger Informationen auf Basis von Quellenangaben ein wichtiges Element von Medienkompetenz ist.

In unserem Blog haben wir daher seit den Anfängen in 2006 großen Wert darauf gelegt, vertrauenswürdige Quellen anzubieten. Dabei unterscheiden wir bewusst, zwischen den Texten in den Quellen und den eigenen Anmerkungen – auch in diesem Blogbeitrag.

Ist Künstliche Intelligenz einfach eine Weiterentwicklung bestehender Automatisierungstendenzen?

Künstliche Intelligenz wird oft mystifiziert und in Stories verpackt. Der Grund ist banal: Es geht um das Einwerben von Kapital und um das schnelle Skalieren des eigenen Geschäftsmodells.

Künstliche Intelligenz wird dabei schnell als disruptiv beschrieben. Dabei ist unstrittig, dass KI schon heute, und ganz besonders in naher Zukunft, ganze Branchen (Gesellschaften) verändern wird.

Dennoch kann Künstliche Intelligenz auch ganz einfach als Weiterentwicklung innerhalb von Automatisierungsbestrebungen gesehen werden:

„Die Automatisierung von menschlichem Handeln durch KI ist kein neues Phänomen der Mensch-Technik-Interaktion, sondern umfasst in Teilen eine Weiterentwicklung innerhalb bestehender Automationsbestrebungen. (…) Breite Definitionen von KI (z. B. Russell & Norvig, 2022, p.19) sind so weitgefasst, dass sich nahezu jede technische Automatisierung darunter einordnen ließe. Umgekehrt lassen sich auch viele KI-Systeme als Automatisierung beschreiben, weil sie Aufgaben teilweise oder vollständig vom Menschen auf ein System verlagern (Lee & See, 2004)“ (Kraus et al., 2026, Psychologische Rundschau (2026), 77(4), 239–244, https://doi.org/10.1026/0033-3042/a000783).

So eine ingenieurpsychologische Perspektive weist auch darauf hin, dass Künstliche Intelligenz eingebettet ist in gesellschaftliche und psychologische Prozesse – eben auf ein sozio-technisches System. Die Ingenieurpsychologie kann hier einen wertvollen Beitrag zur Diskussion über Künstliche Intelligenz leisten.

Glöckner et al. (2026): Künstliche Intelligenz als soziotechnisches System

Image by Gerd Altmann from Pixabay

Wenn es um Künstliche Intelligenz geht, wird meistens über die technologischen Möglichkeiten gesprochen und geschrieben. Es geht um Leistungsvergleiche zwischen KI-Modellen, und um KI-Agenten mit ihrem Verbrauch an Tokens – um nur einige wenige Aspekte zu nennen.

Auf der anderen Seite geht es immer mehr Leuten auch darum zu analysieren, welchen Einfluss Künstliche Intelligenz auf die Gesellschaft, also auf soziale Systeme hat. Es geht hier um Regulierungen, Recht, Moral, Ethik usw.

In dem Beitrag Künstliche Intelligenz ist untrennbar in die Gesellschaft eingebettet – oder umgekehrt? habe ich die Wechselwirkungen der beiden Pole Technik und Gesellschaft thematisiert. Zwischen den beiden Dimensionen gibt es – wie immer – ein Kontinuum an Möglichkeiten der Gestaltung. Dabei geht es also nicht alleine um die Gestaltung der Technologie, sondern gleichzeitig auch um die Gestaltung des sozialen Raums, in dem KI eingebettet ist.

Es liegt daher auf der Hand, in die Gesellschaft eingebettete Künstliche Intelligenz als soziotechnisches System zu betrachten. Genau das haben Glöckner et al. in einem frei verfügbaren Paper gemacht.

„Der vorliegende Beitrag betrachtet Künstliche Intelligenz (KI) als ein soziotechnisches System, das verschiedene Auswirkungen auf soziale Interaktionen und die Gesellschaft als Ganzes hat. Auf Basis aktueller empirischer Befunde werden verschiedene mögliche Auswirkungen von KI in den Bereichen (1) soziale Wahrnehmung, (2) soziales Urteilen und Entscheiden sowie (3) Gruppenprozesse, gesellschaftlicher Zusammenhalt und Macht diskutiert.“
A. Glöckner et al., “Künstliche Intelligenz als soziotechnisches System: Eine Perspektive der Fachgruppe Sozialpsychologie,” Psychologische Rundschau, vol. 77, no. 4, pp. 216–224, Oct. 2026, doi: 10.1026/0033-3042/a000780.

Siehe dazu auxh

Digitalisierung und die Wiederentdeckung soziotechnischer Ansätze

Industrie 4.0 als soziotechnisches System

Warum braucht „Führung“ heute sozialwissenschaftliche Expertise?