Veröffentlicht am

Künstliche Intelligenz: Was ist unter einer Mixture of Experts (MoE) Architektur zu verstehen?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.

Doch es gibt noch eine andere Möglichkeit, und das ist eine Mixture of Experts (MoE) Architektur.

“In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).

Es geht also im Prinzip darum, für den jeweiligen Input das geeignete Modell auszuwählen, um einen qualitativ hochwertigen Output zu generieren. Das erinnert mich stark an meinen Blogbeitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.

Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.

Aus meiner Sicht, sollten die Modelle alle der Definition einer Open Source AI entsprechen – das ist aktuell noch nicht überall gegeben. Siehe dazu auch Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Veröffentlicht am

Digitale Souveränität: Die Initiative AI for Citizens

Website: https://mistral.ai/news/ai-for-citizens

Immer mehr Privatpersonen, Organisationen, Verwaltungen usw. überlegen, wie sie die Möglichkeiten der Künstlichen Intelligenz nutzen können. Dabei gibt es weltweit drei grundsätzlich unterschiedliche Richtungen: Der US-amerikanische Ansatz (Profit für wenige Unternehmen), der chinesische Ansatz (KI für die politische Partei) und den europäischen Ansatz, der auf etwas Regulierung setzt, ohne Innovationen zu verhindern. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Es freut mich daher sehr, dass es in Europa immer mehr Initiativen gibt, die Künstliche Intelligenz zum Wohle von Bürgern und der gesamte Gesellschaft anbieten möchten – alles Open Source. Das in 2023 gegründete Unternehmen Mistral AI hat so einen Ansatz, der jetzt in der Initiative AI for Citizens eine weitere Dynamik bekommt, und einen Gegenentwurf zu den Angeboten der bekannten Tech-Giganten darstellt:

“Empowering countries to use AI to transform public action and catalyze innovation for the benefit of their citizens” (Quelle).

Dabei listet die Website noch einmal ausführlich die Nachteile der “One size fits all AI” auf, die vielen immer noch nicht bewusst sind.

Informieren Sie sich über die vielen Chancen, Künstliche Intelligenz offen und transparent zu nutzen und minimieren Sie die Risiken von KI-Anwendungen, indem Sie offene und transparente Trainingsmodelle (Large Language Models; Small Language Models) und KI-Agenten nutzen. Siehe dazu auch

Das Kontinuum zwischen Closed Source AI und Open Source AI

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Veröffentlicht am

AI: Was ist der Unterschied zwischen Open Source und Open Weights Models?

In verschiedenen Beiträgen habe ich schon erläutert, dass sich Open Source AI und Closed Source AI unterscheiden. Die bekannten Closed Source AI Modelle wie z.B. ChatGPT von (OpenAI) sind beispielsweise nicht wirklich Open Source sind, da dsolche Modelle intransparent sind und den eigentlichen Zweck haben, wirtschaftliche Gewinne zu generieren – koste es was es wolle. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Zwischen diesen beiden Polen Open Source AI und Closed Source AI gibt es allerdings – wie immer – ein Kontinuum von weiteren Möglichkeiten. Beispielsweise sind LLama, Mistral und Gemma nicht so ohne weiteres den beiden Extremen zuzuordnen, da diese Modelle teilweise offen sind. Solche Modelle werden Open Weights Models genannt:

“As a result, the term “Open Source” has been used to describe models with various levels of openness, many of which should more precisely be described as “open weight” models. Among the Big AI companies, attitudes towards openness vary. Some, like OpenAI or Anthropic, do not release any of their models openly. Others, like Meta, Mistral or Google, release some of their models. These models — for example, Llama, Mistral or Gemma — are typically shared as open weights models” (Tarkowski, A. (2025): Data Governance in Open Source AI. Enabling Responsible and Systemic Access. In Partnership with the Open Source Initiative).

Warum nur werden solche Modelle angeboten? Der Grund kann sein, dass man mit dieser Strategie versucht, dem Regulierungsbestreben z.B. der Europäischen Union entgegenzuwirken. Ich hoffe, dass das nicht funktioniert und Big Tech gezwungen wird, sich an die Spielregeln in der Europäischen Union zu halten. Aktuell sieht es so aus, dass die neue Regierung der USA die Europäische Union auch bei diesem Thema vor sich hertreiben möchte.