Veröffentlicht am

SOOFI S: Ein souveränes Open-Source Foundation Model für Deutsch und Englisch

English and German aggregate performance versus decode throughput (Droste, 2026)

In dem Beitrag Open Street Map: Europäische Open Source KI Modelle in den jeweiligen Landessprachen hatte ich verschiedene, in den jeweiligen europäische Landessprachen entwickelten KI-Modelle in einer Map positioniert, inkl. der jeweiligen Links.

Ein Sonderfall stellt SOOFI (Sovereign Open Source Foundation Models) dar. Hier geht es zwar auch um den Open Source Ansatz, doch speziell für die Industrie. Weiterhin liegt der Schwerpunkt auf den Sprachen Englisch und Deutsch.

Da wir in Deutschland stark industriell-technologisch ausgerichtete Branchen haben, stößt diese Entwicklung auf reges Interesse. Von dem SOOFI-Team wurde von Anfang an kommuniziert, dass es einen Vprab-Test des Modells in der Industrie geben wird, und die Community Verbesserungen vorschlagen kann – genau das ist passiert. Das Erkennen von Schwachstellen durch die Community ist also keine Schwäche des Modells, sondern eine Stärke des Open Source Ansatzes.

Eine Veröffentlichung des SOOFI-Teams aus dem Juli 2026 zeigt die aktuelle Performance des Modells im Vergleich mit anderen Open Source Modellen (Abbildung). Für mich interessant ist, dass sich diese Modelle zu 90% in der von mir erstellen MAP wiederfinden.

https://umap.openstreetmap.de/de/map/open-source-ai-in-europe_148154#4/41.141631/-1.134656

Das SOOFI-Modell ist (1) offen, (2) fokussiert auf die deutsche Sprache im industriellen Kontext, und (3) wirtschaftlich. Alle drei Faktoren machen SOOFI für deutsche Unternehmen aus der Industrie so wertvoll.

„Soofi S 30B-A3B addresses all three at once: It is a Mixture-of-Experts (MoE) hybrid Mamba Transformer trained to excel in both German and English and will be released radically open: not weights alone, but the full set of artifacts required to audit every stage of training and, where source licenses permit, rebuild the data mixture, in the spirit of recent fully open efforts“

Source: Droste et al. (2026) A Sovereign, Open-Source Foundation Model for German and English. Available from https://arxiv.org/abs/2607.09424 [Accessed 03.08.2026].

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Quelle: https://mistral.ai/news/mistral-3

Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:

Mistral 3 Large
A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.

Mistral 3
A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.

Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Open Source AI: Kimi K2 Thinking vorgestellt

Mit DeepSeek ist chinesischen Entwicklern ein Coup gelungen, denn sie konnten zeigen, dass ein KI-Modell nicht teuer sein muss. Die amerikanischen Tech-Giganten standen damals mit ihren Milliarden-Investitionen ziemlich schlecht dar.

Nun gibt es mit Kimi K2 Thinking ein weiteres Modell, mit dem chinesische Entwickler zeigen, wie mit relativ wenigen Ressourcen – und damit Kosten – ein leistungsfähiges Modell angeboten werden kann. Der Schwerpunkt des Modells liegt dabei auf „Coding“.

Es ist Open Source basiert und wurde unter der MIT-Lizenz veröffentlicht. Diese enthält eine interessante Klausel: Da amerikanische Konzerne chinesische Open Source Modelle gerne für ihre Entwicklungen nutzen – ohne das transparent zu machen – ist die freie kommerzielle Nutzung bis zu einem monatlichen Umsatz von 20 Millionen Dollar möglich.

Kimi K2 Thinking ist ein MoE-Modell, (for Coding) dessen Entwicklung nur 4,6 Millionen Dollar gekostet haben soll – wieder eine beeindruckende Kennzahl. Darüber hinaus zeigen Benchmarks, die enorme Leistungsfähigkeit des Modells. Weitere Informationen sind in dem folgenden Beitrag zusammengefasst:

Moonshot AI stellt Kimi K2 Thinking als „bestes Open-Source-Thinking-Modell“ vor (Krempler, J. 2025, in the decoder vom 07.11.2025).

Mal sehen, ob wir das Modell auch in LocalAI, bzw. in Ollama auf unseren Servern einbinden können. Bis dahin kann auf der Landingpage Kimi K2 Thinking getestet werden.

Veröffentlicht am

Künstliche Intelligenz: Was ist unter einer Mixture of Experts (MoE) Architektur zu verstehen?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von „One size fits all“. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.

Doch es gibt noch eine andere Möglichkeit, und das ist eine Mixture of Experts (MoE) Architektur.

„In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).

Es geht also im Prinzip darum, für den jeweiligen Input das geeignete Modell auszuwählen, um einen qualitativ hochwertigen Output zu generieren. Das erinnert mich stark an meinen Blogbeitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.

Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.

Aus meiner Sicht, sollten die Modelle alle der Definition einer Open Source AI entsprechen – das ist aktuell noch nicht überall gegeben. Siehe dazu auch Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?