KI-Agenten: Agents of Chaos?

https://agentsofchaos.baulab.info/

Nach den großen KI-Sprachmodellen (LLM: Large Language Models), den kleineren Modellen (SLM: Small Language Models), den Mixed of Experts (MoE) Models sind seit einiger Zeit KI-Agenten im Fokus der Anbieter, Anwender und Forscher.

Nach dem ersten Hype um KI-Agenten mit Aussagen wie „KI Agenten ersetzen Mitarbeiter“ oder „KI-Agenten erhöhen die Produktivität“ usw. ist in der Zwischenzeit eine gewissen Ernüchterung eingetreten.

Ein Grund sind die unbestimmbaren Kosten von KI Agenten (Tokens). Siehe dazu Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?

Ein weiterer Aspekt ist, dass die KI-Agenten eine Eigendynamik entwickeln, die von den Tech-Konzernen nicht mehr kontrolliert werden kann. Dazu haben Sie sicherlich auch in den einschlägigen Medien die Berichte über KI-Agenten gelesen, die „von sich aus“ andere Unternehmen und Organisationen gehackt haben. Beispielhaft sei hier nur die Meldung von der Tagesschau vom 22.07.2026 genannt: KI von OpenAI steuert eigenständig Hackerangriff – und neun, das ist kein Einzelfall.

Dass Unternehmen so sorglos mit dieser Entwicklung umgehen ist bemerkenswert, denn: Wer trägt den angerichteten Schaden? Möglicherweise entsteht der Schaden auch noch viel später und kann gar nicht mehr auf die Ursache zurückgeführt werden. Die in der Softwarebranche übliche Vorgehensweise, unfertige Software auf den Markt zu bringen und durch die Anwendung der Nutzer zu optimieren, ist im Zusammenhang mit KI-Agenten nicht sehr intelligent.

In der Forschungslandschaft haben schon viele Forscher auf die Tücken von KI-Agenten hingewiesen, doch werden solche Erkenntnisse oftmals von den Tech-Konzernen als störend für das Geschäftsmodell empfunden. Es ist allerdings die Aufgabe von Forschern, ohne Rücksicht auf die ohnehin einseitigen wirtschaftlichen Interessen von Unternehmen, auf wichtige Erkenntnisse hinzuweisen.

Beispielhaft möchte ich dazu die folgende Veröffentlichung nennen. Die Ergebnisse zeigen, wie chaotisch und teilweise gefährlich die Zusammenarbeit der KI-Agenten verlief.

„Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover“ (Shapira, N. et al. 2026 Agents of Chaos. Available from https://arxiv.org/abs/2602.20021).

Auf Basis guter wissenschaftlicher, transparenter und nachvollziehbarer Arbeit, haben die Forscher auf der dazugehörenden Website (Abbildung) die Vorgehensweise, die verwendeten KI-Agenten und die generierten Daten veröffentlicht. Es kann sich somit jeder ein eigenes Bild von dem Chaos der Agenten machen. Nicht umsonst heißt der Titel der Veröffentlichung und der dazugehörenden Website Agents of Chaos.

Es wäre gut, wenn einzelne Personen, Unternehmen und Öffentliche Verwaltungen nicht blind den Marketingversprechen der Konzerne folgen, sondern auch wissenschaftliche Erkenntnisse in ihre Entscheidungen zu KI einbeziehen würden.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf solche Zusammenhänge ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework