Um das 30-fache unterscheiden sich je nach KI-Modell die Tokens – und damit die Kosten

https://longjubai.github.io/agent_token_consumption/

Wenn es um die Wirtschaftlichkeit von KI-Agenten geht, kommt es bei den Token-Kosten oftmals zu regelrechten Abrechnungsschocks. In ihrem Paper

Bai et al (2026): How Do Coding Agents Spend Your Money? Analyzing and Predicting Token Consumptions in Agentic Coding Tasks | https://arxiv.org/abs/2604.22750

haben die Forscher genauer untersucht, wie die Coding Agenten das Geld der Nutzer „ausgeben“. Ich möchte an dieser Stelle nur eine der vielen Erkenntnisse aus dem Paper wiedergeben: Es gibt wohl bei dem gleichen Task Unterschiede bis zum 30-fachen bei der Anzahl der Tokens – und damit der Kosten.

„(…) token usage is highly variable and inherently stochastic: runs on the same task can differ by up to 30× in total tokens, and higher token usage does not translate into higher accuracy; instead, accuracy often peaks at intermediate cost and saturates at higher
costs“ (Bai et al. 2026).

Gerade Kleine und Mittlere Unternehmen (KMU) mit ihren doch eher begrenzten Ressourcen sollten hier aufpassen.

Interessanterweise haben die Forscher zu ihrem ausführlichen Paper auch eine Website mit den wichtigsten Erkenntnissen erstellt. Dort ist wiederum ein kleines Spiel integriert, bei dem man anhand einer Problemstellung die voraussichtlich benötigten Token und die damit verbundenen Kosten schätzen kann – spannend.

Wir empfehlen auch aus diesen Gründen eher Local AI – also lokal ausgeführte Open Source KI-Modelle zu nutzen. Das kann zusammen mit einer Microsoft Alternative wie Nextcloud auf einem eigenen Server geschehen, oder als Edge Computing sogar mit Hilfe geeigneter Apps wie Ollama und Langflow, auf dem eigenen Laptop. In unserem Blog finden Se dazu viele Beiträge.

Solche Ansätze können die Innovationsfähigkeit gerade von KMU unterstützen, indem sie ein unternehmensspezifisches KI-System nutzen, bei dem alle generierten Daten beim Unternehmen bleiben – ganz im Sinne einer Digitalen Souveränität.

Wie so etwas für innovative Kleine und Mittlere Unternehmen (KMU) in Europa in Bezug auf Künstliche Intelligenz aussehen kann, stelle ich in zwei Paper auf der MCP-Konferenz 2026, vom 16.-19.09.2026 in Balatonfüred (Ungarn) vor:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework