Veröffentlicht am

Um das 30-fache unterscheiden sich je nach KI-Modell die Tokens – und damit die Kosten

https://longjubai.github.io/agent_token_consumption/

Wenn es um die Wirtschaftlichkeit von KI-Agenten geht, kommt es bei den Token-Kosten oftmals zu regelrechten Abrechnungsschocks. In ihrem Paper

Bai et al (2026): How Do Coding Agents Spend Your Money? Analyzing and Predicting Token Consumptions in Agentic Coding Tasks | https://arxiv.org/abs/2604.22750

haben die Forscher genauer untersucht, wie die Coding Agenten das Geld der Nutzer „ausgeben“. Ich möchte an dieser Stelle nur eine der vielen Erkenntnisse aus dem Paper wiedergeben: Es gibt wohl bei dem gleichen Task Unterschiede bis zum 30-fachen bei der Anzahl der Tokens – und damit der Kosten.

„(…) token usage is highly variable and inherently stochastic: runs on the same task can differ by up to 30× in total tokens, and higher token usage does not translate into higher accuracy; instead, accuracy often peaks at intermediate cost and saturates at higher
costs“ (Bai et al. 2026).

Gerade Kleine und Mittlere Unternehmen (KMU) mit ihren doch eher begrenzten Ressourcen sollten hier aufpassen.

Interessanterweise haben die Forscher zu ihrem ausführlichen Paper auch eine Website mit den wichtigsten Erkenntnissen erstellt. Dort ist wiederum ein kleines Spiel integriert, bei dem man anhand einer Problemstellung die voraussichtlich benötigten Token und die damit verbundenen Kosten schätzen kann – spannend.

Wir empfehlen auch aus diesen Gründen eher Local AI – also lokal ausgeführte Open Source KI-Modelle zu nutzen. Das kann zusammen mit einer Microsoft Alternative wie Nextcloud auf einem eigenen Server geschehen, oder als Edge Computing sogar mit Hilfe geeigneter Apps wie Ollama und Langflow, auf dem eigenen Laptop. In unserem Blog finden Se dazu viele Beiträge.

Solche Ansätze können die Innovationsfähigkeit gerade von KMU unterstützen, indem sie ein unternehmensspezifisches KI-System nutzen, bei dem alle generierten Daten beim Unternehmen bleiben – ganz im Sinne einer Digitalen Souveränität.

Wie so etwas für innovative Kleine und Mittlere Unternehmen (KMU) in Europa in Bezug auf Künstliche Intelligenz aussehen kann, stelle ich in zwei Paper auf der MCP-Konferenz 2026, vom 16.-19.09.2026 in Balatonfüred (Ungarn) vor:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Kosten der Künstlichen Intelligenz: Anteil US amerikanischer KI-Modelle geht weltweit zugunsten von Open Source AI zurück

Image by chris s from Pixabay

Wir haben uns daran gewöhnt, dass die amerikanischen Tech-Konzerne mit ihren KI-Modellen den Ton angeben, doch in den letzten 12 Monaten hat sich weltweit erstaunliches getan. Nach Howard Yu (auf LinkedIn) ist der Anteil amerikanischer KI-Modelle in diesem Zeitraum von 70% auf 30% gefallen (routed traffic).

Der Grund ist, dass immer mehr Nutzer – auch aus Kostengründen – Open Source AI nutzen. Dazu haben beispielsweise chinesische Anbieter neben DeepSeek auch Qwen als erfolgreichstes Open Source AI Modell weltweit etabliert.

„The cause is, of course, price. Anthropic’s Claude costs $4,811 for a standard evaluation suite. OpenAI costs $3,357. DeepSeek costs $1,071. Zhipu’s GLM costs $544. The premium American model runs nearly 9 times the cheapest Chinese one for equivalent work. When AI shifted from chat to agents, that gap became impossible to ignore. An overnight coding run calls a model thousands of times“ (Yu, W. via LinkedIn, 08.07.2026).

Natürlich kommen zu so einer Meldung gleich (mindestens) zwei Einwände:

(1) Open Source AI Modelle sind nicht so Leistungsstark wie die proprietären, kommerziellen AI Modelle der amerikanischen Tech-Konzerne.
Das stimmt in der Zwischenzeit nicht mehr. Ausführlich hat das der AI Report 2026 von der Stanford University analysiert und dargestellt. Siehe dazu Die erfolgreiche Open Source KI Geschichte.

(2) Chinesische Modelle sind mit Vorsicht zu genießen, da sie auch den Vorgaben der chinesischen Regierung entsprechen müssen.
Ja, das ist der Fall. Ähnlich sieht es allerdings auch mit den amerikanischen Modellen aus, die den Mindsets der Tech-Konzerne entsprechen. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Was also tun? Es bietet sich an, Open Source AI aus und für Europa zu nutzen. In der Zwischenzeit gibt es neben Mistral AI noch viele weitere Modelle, die schon genutzt werden können. Open Source AI mit europäischen Werten zu nutzen ist ein Weg zu mehr Digitaler Souveränität und sogar zur Kostenreduzierung.

Siehe dazu auch Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?