Veröffentlicht am

Intelligence per Watt: Gelieferte Intelligenz und Ressourcenverbrauch

Saad-Falcon et al. (2025)

Aktuell wird weltweit sehr viel Geld für große Rechenzentren eingesammelt und investiert. Die Story ist, dass große KI-Modelle sehr große Rechenkapazitäten benötigen, um riesige Datenmengen zu bearbeiten und um schnelle Antwortzeiten für immer mehr Nutzer zu liefern. Ganz im Sinne von je größer umso besser. Ob diese Story ein gutes Ende haben wird bleibt abzuwarten. Siehe dazu Künstliche Intelligenz: Enormer Ressourcenverbrauch großer KI-Modelle.

Parallel dazu gibt es eine Entwicklung, die auf dezentrale Systeme setzt und die Rechenleistung von vielen lokalen Hardwarestrukturen nutzen möchte. Solche lokalen KI-Anwendungen (Local AI) werden nachweislich immer beliebter. Das hat mehrere Gründe: (1) Einerseits sind es natürlich auch die immensen Kosten, die gerade Kleine und Mittelständische Unternehmen (KMU) kaum mehr kalkulieren können (Stichwort: Abrechnung in Token), (2) Datensicherheit und Digitale Souveränität, (3) Zukunftsfähigkeit eines eigenen KI-Systems, das auf Open Source AI setzt.

Nun kann man anführen, dass die lokal ausführbaren Open Weight und Open Source KI-Modelle nicht so leistungsfähig sind, im Vergleich zu den proprietären KI-Modellen. Dass dem nicht mehr so ist, zeigt unter anderem der AI Report 2026 der Stanford University. Siehe dazu auch Anteil US amerikanischer KI-Modelle geht weltweit zugunsten von Open Source AI zurück.

Weiterhin gibt es einen Trend, spezialisierte (kleine) KI-Modelle in einem Router je nach Anwendungsfall zu kombinieren. Nicht zuletzt reichen lokale KI-Modelle für Standardanfragen oftmals völlig aus.

„Local LMs are capable and improving rapidly: Local LMs can accurately respond to 88.7% of single-turn chat and reasoning queries, with accuracy improving 3.1× from 2023-2025“ (Saad-Falcon et al., 2025).

Ein weiterer interessanter Aspekt ist, dass die Forscher um Saad-Falcon eine neue Messgröße vorschlagen: Intelligence per Watt (IPW). Es geht um den Zusammenhang zwischen „gelieferter Intelligenz“ und den dafür benötigten Ressourcenverbrauch.

„intelligence-per-watt—a metric that quantifies how effectively inference systems convert energy into useful computation.

IPW = (mean accuracy across tasks) / (mean power draw during inference)“

Saad-Falcon et al. (2025): Intelligence Per Watt: A Study of Local Intelligence Efficiency

Die angegebene Studie zeigt deutlich den Vorteil auf, lokale KI anzuwenden, wenn es um die Kenngröße Intelligence per Watt geht. Wir sind der Auffassung, dass es in Zukunft mit Open Source AI und LocalAI möglich sein wird, mehr Digitale Souveränität in Europa zu erreichen, und innovativer zu werden.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

(Mass) Personalized AI Agents für dezentralisierte KI-Modelle

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Es wird von Tag zu Tag deutlicher: Mit der zunehmenden Verbreitung von Künstlicher Intelligenz (AI: Artificial Intelligence) kommen die zentralen, großen KI-Modelle (Large Language Models) mit ihrem Mangel an Transparenz und ihrem „laxen“ Umgang mit dem Urheberrecht oder auch mit dem Datenschutz, an Grenzen.

Einzelne Personen, Organisationen und auch Öffentliche Verwaltungen halten ihre Daten entsprechend zurück, wodurch Kooperation, Kollaboration und letztendlich auch Innovation behindert wird. Der Trend von den LLM (Large Language Models), zu Small Language Models (SLM), zu KI-Agenten, zusammen mit dem Wunsch vieler auch die eigenen Daten – und damit die eigene Expertise – für KI-Anwendungen zu nutzen, führt zu immer individuelleren, customized, personalized Modellen und letztendlich zu Personalized AI-Agents.

„Personal agents: Recent progress in foundation models is enabling personalized AI agents (assistants, co-pilots, etc.). These agents require secure access to private user data, and a comprehensive understanding of preferences. Scaling such a system to population levels requires orchestrating billions of agents. A decentralized framework is needed to achieve this without creating a surveillance state“ (Singh et al. 2024).

Forscher am Massachusetts Institute of Technology (MIT) haben diese Entwicklungen systematisch analysiert und sind zu dem Schluss gekommen, dass es erforderlich ist, Künstliche Intelligenz zu dezentralisieren: Decentralized AI.

Mein Wunsch wäre es in dem Zusammenhang, dass alle Anwendungen (Apps, Tools etc.) einzelnen Personen und Organisationen als Open Source zur Verfügung stehen, ganz im Sinne von Mass Personalization – nur dass Mass Personalization für KI-Agenten nicht von Unternehmen ausgeht und auf den Konsumenten ausgerichtet ist! Das hätte eine sehr starke Dynamik von Innovationen zur Folge, die Bottom Up erfolgen und die Bedürfnisse der Menschen stärker berücksichtigen.

Veröffentlicht am

Künstliche Intelligenz: Vorteile von Small Language Models (SLMs)

Aktuell bekannte KI-Anwendungen rühmen sich seit Jahren, sehr große Mengen an Trainingsdaten (Large Language Models) zu verarbeiten. Der Tenor war und ist oft noch: Je größer die Trainingsdatenbank, um so besser.

In der Zwischenzeit weiß man allerdings, dass das so nicht stimmt und Large Language Models (LLMs) durchaus auch Nachteile haben. Beispielsweise ist die Genauigkeit der Daten ein Problem – immerhin sind die Daten oft ausschließlich aus dem Internet. Daten von Unternehmen und private Daten sind fast gar nicht verfügbar. Weiterhin ist das Halluzinieren ein Problem. Dabei sind die Antworten scheinbar plausibel, stimmen aber nicht.

Muddu Sudhaker hat diese Punkte in seinem Artikel noch einmal aufgeführt. Dabei kommt er zu dem Schluss, dass es in Zukunft immer mehr darauf ankommen wird, kleinere, speziellere Trainingsdatenbanken zu nutzen – eben Small Language Models (SLMs).

Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK

Große Vorteile der SLMs sieht der Autor natürlich einmal in der Genauigkeit der Daten und damit in den besseren Ergebnissen. Weiterhin sind SLMs natürlich auch kostensparender. Einerseits sind die Entwicklungskosten geringer, andererseits benötigt man keine aufwendige Hardware, um SLMs zu betreiben. Teilweise können solche Modelle auf dem eigenen PC, oder auf dem Smartphone betrieben werden.

Solche Argumente sind natürlich gerade für Kleine und Mittlere Unternehmen (KMU) interessant, die mit den geeigneten SLMs und ihren eigen, unternehmensinternen Daten ein interessantes und kostengünstiges KI-System aufbauen können.

Voraussetzung dafür ist für mich, dass alle Daten auf den eigenen Servern bleiben, was aktuell nur mit Open Source AI möglich ist. OpenAI mit ChatGPT ist KEIN Open Source AI.