Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:
Mistral 3 Large A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.
Mistral 3 A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.
Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.
Die kommerziellen, proprietären KI-Systeme machen den Eindruck, als ob sie die einzigen sind, die Innovationen generieren. In gewisser weise stimmt das auch, wenn man unter Innovationen die Innovationen versteht, die sich diese Unternehmen wünschen. Fast jeden Tag gibt es neue Möglichkeiten, gerade diese KI-Modelle zu nutzen. Dieses Modelle treiben ihre Nutzer vor sich her. Wer nicht alles mitmacht wird der Verlierer sein – so das Credo.
Dabei stehen Trainingsdaten zur Verfügung, die intransparent sind und in manchen Fällen sogar ein Mindset repräsentieren, das Gruppen von Menschen diskriminiert.
Versteht man unter Innovationen allerdings, das Neues für die ganze Gesellschaft generiert wird, um gesellschaftlichen Herausforderungen zu bewältigen, so wird schnell klar, dass das nur geht, wenn Transparenz und Vertrauen in die KI-Systeme vorhanden sind – und genau das bieten Open Source AI – Systeme.
„Open-source AI systems encourage innovation and are often a requirement for public funding. On the open extreme of the spectrum, when the underlying code is made freely available, developers around the world can experiment, improve and create new applications. This fosters a collaborative environment where ideas and expertise are readily shared. Some industry leaders argue that this openness is vital to innovation and economic growth. (…) Additionally, open-source models tend to be smaller and more transparent. This transparency can build trust, allow for ethical considerations to be proactively addressed, and support validation and replication because users can examine the inner workings of the AI system, understand its decision-making process and identify potential biases“ (UN 2024)
In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:
„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)
Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.
Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.
Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.
Dennoch ist deutlich zu erkennen, dass es immer mehr Anbieter in allen möglichen Segmenten von Künstlicher Intelligenz – auch bei den Language Models – gibt. Wenn man sich alleine die Vielzahl der Modelle bei Hugging Face ansieht: Heute, am17.09.2025, stehen dort 2,092,823 Modelle zur Auswahl, und es werden jede Minute mehr. Das erinnert mich an die Diskussionen auf den verschiedenen (Welt-) Konferenzen zu Mass Customization and Personalization. Warum?
Large Language Models (LLM):One Size Fits All Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Diese Einschätzung wird natürlich von den Tech-Unternehmen vertreten, die aktuell mit ihren Closed Source Models das große Geschäft machen, und auch für die Zukunft wittern. Die Argumentation ist, dass es nur eine Frage der Zeit ist, bis das jeweilige Large Language Model die noch fehlenden Features bereitstellt – bis hin zur großen Vision AGI: Artificial General Intelligence. Storytelling eben…
Small Language Models (SLM): Variantenvielfalt In der Zwischenzeit wird immer klarer, dass kleine Modelle (SLM) viel ressourcenschonender, in speziellen Bereichen genauer, und auch wirtschaftlicher sein können. Siehe dazu Künstliche Intelligenz: Vorteile von Small Language Models (SLMs) und Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK.
Komplexitätsfalle Es wird deutlich, dass es nicht darum geht, noch mehr Möglichkeiten zu schaffen, sondern ein KI-System für eine Organisation passgenau zu etablieren und weiterzuentwickeln. Dabei sind erste Schritte schon zu erkennen: Beispielsweise werden AI-Router vorgeschlagen, die verschiedene Modelle kombinieren – ganz im Sinne eines sehr einfachen Konfigurators. Siehe dazu Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.
Mit Hilfe eines KI-Konfigurators könnte man sich der Komplexitätsfalle entziehen. Ein Konfigurator in einem definierten Lösungsraum (Fixed Solution Space) ist eben das zentrale Element von Mass Customization and Personalization.
Die Lösung könnte also sein, massenhaft individualisierte KI-Modelle und KI-Agents dezentralisiert für die Allgemeinheit zu schaffen. Am besten natürlich alles auf Open Source Basis – Open Source AI – und für alle in Repositories frei verfügbar. Auch dazu gibt es schon erste Ansätze, die sehr interessant sind. Siehe dazu beispielsweise (Mass) Personalized AI Agents für dezentralisierte KI-Modelle.
Genau diese Überlegungen erinnern – wie oben schon angedeutet – an die Hybride Wettbewerbsstrategie Mass Customization and Personalization. Die Entgrenzung des definierten Lösungsraum (Fixed Solution Space) hat dann weiter zu Open Innovation (Chesbrough und Eric von Hippel) geführt.
Conceptual technology illustration of artificial intelligence. Abstract futuristic background
Es wird von Tag zu Tag deutlicher: Mit der zunehmenden Verbreitung von Künstlicher Intelligenz (AI: Artificial Intelligence) kommen die zentralen, großen KI-Modelle (Large Language Models) mit ihrem Mangel an Transparenz und ihrem „laxen“ Umgang mit dem Urheberrecht oder auch mit dem Datenschutz, an Grenzen.
Einzelne Personen, Organisationen und auch Öffentliche Verwaltungen halten ihre Daten entsprechend zurück, wodurch Kooperation, Kollaboration und letztendlich auch Innovation behindert wird. Der Trend von den LLM (Large Language Models), zu Small Language Models (SLM), zu KI-Agenten, zusammen mit dem Wunsch vieler auch die eigenen Daten – und damit die eigene Expertise – für KI-Anwendungen zu nutzen, führt zu immer individuelleren, customized, personalized Modellen und letztendlich zu Personalized AI-Agents.
„Personal agents: Recent progress in foundation models is enabling personalized AI agents (assistants, co-pilots, etc.). These agents require secure access to private user data, and a comprehensive understanding of preferences. Scaling such a system to population levels requires orchestrating billions of agents. A decentralized framework is needed to achieve this without creating a surveillance state“ (Singh et al. 2024).
Forscher am Massachusetts Institute of Technology (MIT) haben diese Entwicklungen systematisch analysiert und sind zu dem Schluss gekommen, dass es erforderlich ist, Künstliche Intelligenz zu dezentralisieren: Decentralized AI.
Mein Wunsch wäre es in dem Zusammenhang, dass alle Anwendungen (Apps, Tools etc.) einzelnen Personen und Organisationen als Open Source zur Verfügung stehen, ganz im Sinne von Mass Personalization – nur dass Mass Personalization für KI-Agenten nicht von Unternehmen ausgeht und auf den Konsumenten ausgerichtet ist! Das hätte eine sehr starke Dynamik von Innovationen zur Folge, die Bottom Up erfolgen und die Bedürfnisse der Menschen stärker berücksichtigen.
Using watsonx.governance to build a dashboard and track a multimodel deployment environment (Thomas et al. 2025)
In verschiedenen Beiträgen hatte ich beschrieben, was eine Organisation machen kann, um KI-Modelle sinnvoll einzusetzen. An dieser Stelle möchte ich nur einige wenige Punkte beispielhaft dazu aufzählen.
Das sind nur einige Beispiele dafür, dass eine Organisation aufpassen muss, dass die vielen Aktivitäten sinnvoll und wirtschaftlich bleiben. Doch: Wie können Sie das ganze KI-System verfolgen und verbessern? In der Abbildung sehen Sie ein Dashboard, dass den Stand eines KI-Frameworks abbildet. Die Autoren haben dafür IBM watsonx Governance genutzt.
„Our dashboard gives us a quick view of our environment. There are LLMs from OpenAI, IBM, Meta, and other models that are in a review state. In our example, we have five noncompliant models that need our attention. Other widgets define use cases, risk tiers, hosting locations (on premises or at a hyper scaler), departmental use (great idea for chargebacks), position in the approval lifecycle, and more“ (Thomas et al. 2025).
Die Entwicklungen im Bereich der Künstlichen Intelligenz sind vielversprechend und in ihrer Dynamik teilweise auch etwas unübersichtlich. Das geeignete KI-Framework zu finden, es zu entwickeln, zu tracken und zu verbessern wird in Zukunft eine wichtige Aufgabe sein.
AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.
Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von „One size fits all“. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.
„In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).
Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.
Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.
Trainingsmodelle sind für die Qualität der Ergebnisse von KI-Abfragen bedeutend. Dabei kann es sich im einfachsten Fall um ein Large Language Model (LLM) handeln – ganz im Sinne von „One Size Fits All, oder auch um verschiedene, spezialisierte Small Language Models (SLMs). Alles kann dann auch mit Hilfe eines AI-Routers sinnvoll kombiniert werden. Darüber hinaus ist es auch möglich, bestehende Modelle über InstructLab mit eigenen Daten zu kombinieren und zu trainieren.
Noch weiter geht jetzt Ai2, eine Not for Profit Organisation, über die ich schon einmal geschrieben hatte (Blogbeitrag). Mit FlexOlmo steht nun über Ai2 ein Trainingsmodell zur Verfügung, bei dem die Daten flexibel von einer Community weiterentwickelt / trainiert werden können:
„The core idea is to allow each data owner to locally branch from a shared public model, add an expert trained on their data locally, and contribute this expert module back to the shared model. FlexOlmo opens the door to a new paradigm of collaborative AI development. Data owners who want to contribute to the open, shared language model ecosystem but are hesitant to share raw data or commit permanently can now participate on their own terms“ (Ai2 2025).
Die Idee ist wirklich spannend, da sie auf einem offenen Trainingsmodell basiert – ganz im Sinne von Open Source AI – und die Eigentümer der Daten darüber entscheiden, ob ihre Daten von dem gemeinsamen Modell genutzt werden können, oder eben nicht. Wer noch tiefer in diese Idee einsteigen möchte, kann das mit folgendem Paper gerne machen:
Shi et al (2025): FLEXOLMO: Open Language Models for Flexible Data Use | PDF
Manchmal könnte man der Meinung sein, dass es kaum noch Möglichkeiten gibt, etwas Neues auf den Markt zu bringen, doch das ist natürlich ein Trugschluss. Beispielhaft möchte ich dazu folgendes Zitat erwähnen:
„Es gibt nichts Neues mehr. Alles, was man erfinden kann, ist schon erfunden worden. „ Charles H. Duell, US-Patentamt 1899
Da stellt sich natürlich gleich die Frage: Wo sind die neuen Produkte, neuen Dienstleistungen, neuen Märkte, und wie finde ich diese?
Dass das nicht so einfach ist, haben Innovationstheorien und -modelle schon ausführlich dargestellt. Dabei hat sich der Begriff der „blinden Flecke“ etabliert. Gerade große Organisationen sehen einfach nicht mehr das Offensichtliche. Diese Wahrnehmungshemmung kann mit der Theorie der Pfadabhängigkeit erklärt werden.
Diese Gemengelage führt zwangsläufig zur nächsten Frage: Wie kann ein Unternehmen (oder auch eine einzelne Person) Bereiche finden, die noch nicht besetzt sind?
Solche weiße Flecken – White Spots – können relativ systematisch mit einem entsprechenden Prozess abgebildet und untersucht werden (Abbildung). Mit den heute vorhandenen Möglichkeiten der Künstlichen Intelligenz (GenAI) können Sie
An AI router that understands the capabilities of models in its library directs a given inference request to the best model able to perform the task at hand (Thomas et al. 2025)
Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodelle geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von „One size fits all“. Siehe dazu diesen Blogbeitrag zu den Vorteilen und Nachteilen dieser Vorgehensweise.
Neben den genannten Extremen gibt es noch Modelle, die dazwischen anzusiedeln sind, und daher als „midsized“ bezeichnet werden können.
Diese drei Möglichkeiten sind beispielhaft in der Abbildung unter „Sample of model ecosystem“ zusammengefasst. Erfolgt also eine neue Anfrage über den „New data point“ an den AI Router, so kann der vorher trainierte AI Router das geeignete Trainingsmodell (Small, Midsized, Large) zuweisen.
Die Autoren (Thomas et al. 2025) konnten in verschiedenen Tests zeigen, dass ein guter Mix an geeigneten Modellen, zusammen mit einem gut trainierten AI Router bessere und wirtschaftlichere Ergebnisse erzielt.
Die Vorteile liegen auf der Hand: Sie sparen Geld, reduzieren die Latenz und helfen der Umwelt. Diese Punkte sind gerade für Kleine und Mittlere Unternehmen (KMU) interessant.
Diese Website benutzt Cookies. Wenn du die Website weiter nutzt, gehen wir von deinem Einverständnis aus.
