Veröffentlicht am

Intelligence per Watt: Gelieferte Intelligenz und Ressourcenverbrauch

Saad-Falcon et al. (2025)

Aktuell wird weltweit sehr viel Geld für große Rechenzentren eingesammelt und investiert. Die Story ist, dass große KI-Modelle sehr große Rechenkapazitäten benötigen, um riesige Datenmengen zu bearbeiten und um schnelle Antwortzeiten für immer mehr Nutzer zu liefern. Ganz im Sinne von je größer umso besser. Ob diese Story ein gutes Ende haben wird bleibt abzuwarten. Siehe dazu Künstliche Intelligenz: Enormer Ressourcenverbrauch großer KI-Modelle.

Parallel dazu gibt es eine Entwicklung, die auf dezentrale Systeme setzt und die Rechenleistung von vielen lokalen Hardwarestrukturen nutzen möchte. Solche lokalen KI-Anwendungen (Local AI) werden nachweislich immer beliebter. Das hat mehrere Gründe: (1) Einerseits sind es natürlich auch die immensen Kosten, die gerade Kleine und Mittelständische Unternehmen (KMU) kaum mehr kalkulieren können (Stichwort: Abrechnung in Token), (2) Datensicherheit und Digitale Souveränität, (3) Zukunftsfähigkeit eines eigenen KI-Systems, das auf Open Source AI setzt.

Nun kann man anführen, dass die lokal ausführbaren Open Weight und Open Source KI-Modelle nicht so leistungsfähig sind, im Vergleich zu den proprietären KI-Modellen. Dass dem nicht mehr so ist, zeigt unter anderem der AI Report 2026 der Stanford University. Siehe dazu auch Anteil US amerikanischer KI-Modelle geht weltweit zugunsten von Open Source AI zurück.

Weiterhin gibt es einen Trend, spezialisierte (kleine) KI-Modelle in einem Router je nach Anwendungsfall zu kombinieren. Nicht zuletzt reichen lokale KI-Modelle für Standardanfragen oftmals völlig aus.

„Local LMs are capable and improving rapidly: Local LMs can accurately respond to 88.7% of single-turn chat and reasoning queries, with accuracy improving 3.1× from 2023-2025“ (Saad-Falcon et al., 2025).

Ein weiterer interessanter Aspekt ist, dass die Forscher um Saad-Falcon eine neue Messgröße vorschlagen: Intelligence per Watt (IPW). Es geht um den Zusammenhang zwischen „gelieferter Intelligenz“ und den dafür benötigten Ressourcenverbrauch.

„intelligence-per-watt—a metric that quantifies how effectively inference systems convert energy into useful computation.

IPW = (mean accuracy across tasks) / (mean power draw during inference)“

Saad-Falcon et al. (2025): Intelligence Per Watt: A Study of Local Intelligence Efficiency

Die angegebene Studie zeigt deutlich den Vorteil auf, lokale KI anzuwenden, wenn es um die Kenngröße Intelligence per Watt geht. Wir sind der Auffassung, dass es in Zukunft mit Open Source AI und LocalAI möglich sein wird, mehr Digitale Souveränität in Europa zu erreichen, und innovativer zu werden.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Mass Intelligence: Wenn mehr als 1 Mrd. Menschen Zugang zu leistungsfähiger KI haben

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Wenn wir uns die Entwicklungen der Künstlichen Intelligenz in der letzten Zeit ansehen, so fällt auf, dass es mehrere Trends gibt.

Neben den dominierenden wenigen großen Large Language Models (LLMs) der Tech-Konzerne gibt es immer mehr kleine Modelle (Small Language Models), die je nach Anwendungsfall ausgewählt werden können. Solche SLM sind flexibler, kostengünstiger und in bestimmten Bereichen sogar besser. Siehe dazu auch KI-Modelle: Von „One Size Fits All“ über Variantenvielfalt in die Komplexitätsfalle?

Weiterhin wird für solche Problemlösungen auch viel weniger Energie benötigt, was die weltweiten, aber auch die unternehmensspezifischen Ressourcen/Kosten schont, Siehe dazu auch Künstliche Intelligenz: Das menschliche Gehirn benötigt maximal 30 Watt für komplexe Problemlösungen.

Darüber hinaus gibt es auch immer mehr leistungsfähige Open Source KI-Modelle, die jedem zur Verfügung stehen, und beispielsweise eher europäischen Werten entsprechen. Siehe dazu auch Das Kontinuum zwischen Closed Source AI und Open Source AI

Wenn also in Zukunft mehr als 1 Milliarde Menschen Künstliche Intelligenz nutzen, stellt sich gleich die Frage, wie Unternehmen damit umgehen. Immerhin war es üblich, dass so eine Art der intelligenten komplexen Problemlösung bisher nur spärlich – und dazu auch noch teuer – zur Verfügung stand.

Nun werden Milliarden von einzelnen Personen die Möglichkeit haben, mit geringen Mitteln komplexe Problemlösungen selbst durchzuführen. Prof. Ethan Mollick nennt dieses Phänomen in einem Blogbeitrag Mass Intelligence.

„The AI companies (whether you believe their commitments to safety or not) seem to be as unable to absorb all of this as the rest of us are. When a billion people have access to advanced AI, we’ve entered what we might call the era of Mass Intelligence. Every institution we have — schools, hospitals, courts, companies, governments — was built for a world where intelligence was scarce and expensive. Now every profession, every institution, every community has to figure out how to thrive with Mass Intelligence“ (Mollick, E. (2025): Mass Intelligence, 25.08.2025).

Ich bin sehr gespannt, ob sich die meisten Menschen an den proprietären großen KI-Modellen der Tech-Konzerne orientieren werden, oder ob es auch einen größeren Trend gibt, sich mit KI-Modellen weniger abhängig zu machen – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Aktuell überschlagen sich die Meldungen darüber, wie die Zukunft von Künstlicher Intelligenz (AI: Artificial Intelligence) wohl aussehen wird. Die Dynamik ist in diesem Feld allerdings so groß, dass es unmöglich ist, genauere Voraussagen zu machen.

Dennoch glauben einige, dass ein Modell, wie z.B. ChatGPT, Gemini usw. mit ihren vielfältigen Möglichkeiten, die Lösung für alles sein wird. Grundannahme ist hier also One Size fits all.

Demgegenüber steht der Gedanke, dass es viele unabhängig und vernetzt nutzbare KI-Anwendungen geben wird, die eher den Anforderungen der Menschen und Organisationen entsprechen. Weiterhin sollten diese KI-Apps Open Source sein, also offen und transparent. Dazu habe ich den folgenden aktuellen Text gefunden:

„The future of AI is not one amazing model to do everything for everyone (you will hear us tell you time and time again in this book: one model will not rule them all). AI’s future will not just be multimodal (seeing, hearing, writing, and so on); it will also most certainly be multimodel (in the same way cloud became hybrid). AI needs to be democratized—and that can only happen if we collectively leverage the energy and the transparency of open source and open science—this will give everyone a voice in what AI is, what it does, how it’s used, and how it impacts society. It will ensure that the advancements in AI are not driven by the privileged few, but empowered by the many“ (Thomas, R.; Zikopoulos, P.; Soule, K. 2025).

Es wird hier noch einmal deutlich herausgestellt, dass Künstliche Intelligenz demokratisiert werden muss. Das wiederum kann durch Open Source und Open Science ermöglicht werden. Siehe dazu auch

Digitale Souveränität: Europa, USA und China im Vergleich

Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co.

RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen

Von Democratizing Innovation zu Free Innovation