Veröffentlicht am

Künstliche Intelligenz: Was ist unter einer Mixture of Experts (MoE) Architektur zu verstehen?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.

Doch es gibt noch eine andere Möglichkeit, und das ist eine Mixture of Experts (MoE) Architektur.

“In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).

Es geht also im Prinzip darum, für den jeweiligen Input das geeignete Modell auszuwählen, um einen qualitativ hochwertigen Output zu generieren. Das erinnert mich stark an meinen Blogbeitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.

Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.

Aus meiner Sicht, sollten die Modelle alle der Definition einer Open Source AI entsprechen – das ist aktuell noch nicht überall gegeben. Siehe dazu auch Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Veröffentlicht am

Künstliche Intelligenz: Mit FlexOlmo Trainingsmodelle kollaborativ erarbeiten – eine interessante Idee

Quelle: https://www.youtube.com/watch?v=dbTRBpA7FVQ

Trainingsmodelle sind für die Qualität der Ergebnisse von KI-Abfragen bedeutend. Dabei kann es sich im einfachsten Fall um ein Large Language Model (LLM) handeln – ganz im Sinne von “One Size Fits All, oder auch um verschiedene, spezialisierte Small Language Models (SLMs). Alles kann dann auch mit Hilfe eines AI-Routers sinnvoll kombiniert werden. Darüber hinaus ist es auch möglich, bestehende Modelle über InstructLab mit eigenen Daten zu kombinieren und zu trainieren.

Noch weiter geht jetzt Ai2, eine Not for Profit Organisation, über die ich schon einmal geschrieben hatte (Blogbeitrag). Mit FlexOlmo steht nun über Ai2 ein Trainingsmodell zur Verfügung, bei dem die Daten flexibel von einer Community weiterentwickelt / trainiert werden können:

“The core idea is to allow each data owner to locally branch from a shared public model, add an expert trained on their data locally, and contribute this expert module back to the shared model. FlexOlmo opens the door to a new paradigm of collaborative AI development. Data owners who want to contribute to the open, shared language model ecosystem but are hesitant to share raw data or commit permanently can now participate on their own terms” (Ai2 2025).

Die Idee ist wirklich spannend, da sie auf einem offenen Trainingsmodell basiert – ganz im Sinne von Open Source AI – und die Eigentümer der Daten darüber entscheiden, ob ihre Daten von dem gemeinsamen Modell genutzt werden können, oder eben nicht. Wer noch tiefer in diese Idee einsteigen möchte, kann das mit folgendem Paper gerne machen:

Shi et al (2025): FLEXOLMO: Open Language Models for Flexible Data Use | PDF

Veröffentlicht am

Innovationen: Künstliche Intelligenz und die White Spot Analyse

White Spot Analyse als Prozess nach Achatz (2012)

Manchmal könnte man der Meinung sein, dass es kaum noch Möglichkeiten gibt, etwas Neues auf den Markt zu bringen, doch das ist natürlich ein Trugschluss. Beispielhaft möchte ich dazu folgendes Zitat erwähnen:

“Es gibt nichts Neues mehr. Alles, was man erfinden kann, ist schon erfunden worden. “
Charles H. Duell, US-Patentamt 1899

Da stellt sich natürlich gleich die Frage: Wo sind die neuen Produkte, neuen Dienstleistungen, neuen Märkte, und wie finde ich diese?

Dass das nicht so einfach ist, haben Innovationstheorien und -modelle schon ausführlich dargestellt. Dabei hat sich der Begriff der “blinden Flecke” etabliert. Gerade große Organisationen sehen einfach nicht mehr das Offensichtliche. Diese Wahrnehmungshemmung kann mit der Theorie der Pfadabhängigkeit erklärt werden.

Diese Gemengelage führt zwangsläufig zur nächsten Frage: Wie kann ein Unternehmen (oder auch eine einzelne Person) Bereiche finden, die noch nicht besetzt sind?

Solche weiße Flecken – White Spots – können relativ systematisch mit einem entsprechenden Prozess abgebildet und untersucht werden (Abbildung). Mit den heute vorhandenen Möglichkeiten der Künstlichen Intelligenz (GenAI) können Sie

Sprechen Sie mich bitte an, wenn Sie dazu Fragen haben.

Veröffentlicht am

InstructLab: A new community-based approach to build truly open-source LLMs

Screenshot https://instructlab.ai/

In vielen Blogbeiträgen habe ich darauf hingewiesen, dass es kritisch ist, Closed Sourced Modelle für KI-Anwendungen (GenAI) zu nutzen. Die hinterlegten Trainingsdaten können kritisch sein und auch das Hochladen eigener Daten sollte bei diesen Modellen möglichst nicht erfolgen. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

In der Zwischenzeit gibt es viele Large Language Models (LLMs), die Open Source basiert sind, und sich an der Definition von Open Source AI orientieren. Das reicht vielen Unternehmen allerdings nicht aus, da sie gerne ihre eigenen Daten mit den Möglichkeiten der LLMs kombiniert – und sicher – nutzen wollen. Siehe dazu Künstliche Intelligenz: 99% der Unternehmensdaten sind (noch) nicht in den Trainingsdaten der LLMs zu finden.

In der Zwischenzeit ist es mit Hilfe von InstructLab möglich, vorhandene LLMs mit eigenen Daten zu trainieren. Dabei handelt sich um eine Initiative von Redhat und IBM – weiterführende Informationen dazu finden Sie bei Hugging Fcae.

Wie funktioniert InstructLab? Das Prinzip ist relativ einfach: Ein bestehendes Modell (LLM) wird mit Hilfe von InstructLab und eigenen Daten erweitert, spezifiziert und trainiert – alles unter eigener Kontrolle und Open Source.

“InstructLab can augment models though skill recipes used to generate synthetik data for tuning. Experiments can be run locally on quantized version of these models” (InstructLab-Website).

In einem ausführlichen, deutschsprachigen artikel erklärt Redhat noch einmal die Zusammenhänge: “Unternehmen können die InstructLab-Tools zum Modellabgleich auch nutzen, um ihre eigenen privaten LLMs mit ihren Kompetenzen und ihrem Fachwissen zu trainieren” (Redhat vom 10.03.2025).

Es ist für mich entscheidend, dass diese Initiative Open Source basiert, nicht auf bestimmte Modelle beschränkt, und lokal angewendet werden kann.

Veröffentlicht am

GPM (2025): Künstliche Intelligenz im Projektkontext – Studie

Es ist schon eine Binsenweisheit, dass Künstliche Intelligenz (GenAI) alle Bereiche der Gesellschaft mehr oder weniger berühren wird. Das ist natürlich auch im Projektmanagement so. Dabei ist es immer gut, wenn man sich auf verlässliche Quellen, und nicht auf Berater-Weisheiten verlässt.

Eine dieser Quellen ist die Gesellschaft für Projektmanagement e.V., die immer wieder Studien zu verschiedenen Themen veröffentlicht. In der Studie GPM (2025): Gehalt und Karriere im Projektmanagement. Sonderthema: Die Anwendung Künstlicher Intelligenz im Projektmanagement findet sich auf Seite 13 folgende Zusammenfassung:

“Künstliche Intelligenz im Projektkontext
Künstliche Intelligenz (KI) wird im Bereich Projektmanagement in der Mehrheit der Unternehmen eingesetzt, allerdings in noch geringem Maße.
(1) KI-basierte Tools werden insgesamt eher selten genutzt, wenn sie zum Einsatz kommen, dann sind es hauptsächlich ChatGPT, Jira, MS Pilot oder eigenentwickelte Tools.
(2) Es zeichnet sich kein eindeutiger Projektmanagement-Bereich ab, in dem KI bevorzugt zum Einsatz kommt. Am deutlichsten noch in der Projektplanung und in der Projektinitiierung, am seltensten im Projektportfolio- und im Programmmanagement.
(3) Der Nutzen der KI wird tendenziell eher positiv gesehen, insbesondere als Unterstützung der alltäglichen Arbeit, zur Erleichterung der Arbeit im Projektmanagement und zur Erhöhung der Produktivität.
(4) Der Beitrag von KI zu einem höheren Projekterfolg wird von der Mehrheit der Befragten nicht gesehen – allerdings nur von einer knappen Mehrheit.
(5) Es besteht eine grundlegende Skepsis gegenüber KI, was verschiedene Leistungsparameter im Vergleich zum Menschen betrifft. Alle hierzu gestellten Fragen wie Fehleranfälligkeit, Genauigkeit, Konsistenz der Information oder Konsistenz der Services wurden mehrheitlich zu Gunsten des Menschen bewertet.
(6) Die überwiegende Mehrheit der befragten Projektmanagerinnen und Projektmanager teilt diverse Ängste gegenüber der KI nicht, wie z. B. diese werde Jobs vernichten oder dem Menschen überlegen sein.”
Quelle: GPM (2025). Anmerkung: Im Originaltext wurden Aufzählungszeichen verwendet. Um besser auf einzelnen Punkte einzugehen, habe ich diese nummeriert, was somit keine Art von Priorisierung darstellt.

An dieser Stelle möchte ich nur zwei der hier genannten Ergebnisse kommentieren:

Punkt (1): Es wird deutlich, dass hauptsächlich Closed Source Modelle verwendet werden. Möglicherweise ohne zu reflektieren, was mit den eigenen Daten bei der Nutzung passiert – gerade wenn auch noch eigene, projektspezifische Daten hochgeladen werden. Besser wäre es, ein Open Source basiertes KI-System und später Open Source basierte KI-Agenten zu nutzen. Dazu habe ich schon verschiedene Blogbeiträge geschrieben. Siehe dazu beispielhaft Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Punkt (6): Es geht bei der Nutzung von KI nicht immer um die “Vernichtung” (Was für ein schreckliches Wort) von Jobs, sondern darum, dass viele verschiedene Aufgaben (Tasks) in Zukunft von KI autonom bearbeitet werden können. Siehe dazu auch The Agent Company: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen.

Veröffentlicht am

The Agent Company: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen

Quelle: Xu et al. (2025): The Agent Company | https://the-agent-company.com/

Es ist mehr als eine interessante Spielerei von KI-Enthusiasten: KI-Agenten (AI-Agents) können immer mehr Aufgaben in einem Unternehmen autonom übernehmen. Um das genauer zu untersuchen, haben Wissenschaftler in dem Paper

Xu et al. (2025): TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks

wichtige Grundlagen dargestellt, und auch untersucht, welche Tasks in einem Unternehmen von KI-Agenten autonom übernommen werden können.

Wie in der Abbildung zu erkennen ist, wurden Mitarbeiterrollen simuliert (Engineer, CTO, HR) und verschiedene Tasks angenommen. Bei dem Admin beispielsweise “arrange meeting room” und bei dem Projektmanager (PM) “teams sprint planning”, was auf das Scrum Framework hinweist. Als Modelle für Trainingsdaten wurden Large Language Models (LLMs) genutzt – closed source und open weight models:

“We test baseline agents powered by both closed API-based and open-weights language models (LMs), and find that the most competitive agent can complete 30% of tasks autonomously” (Xu et al (2025).

Es wird zwar ausdrücklich auf die Beschränkungen (Limitations) hingewiesen, doch gibt diese Untersuchung konkrete Hinweise darauf, welche Aufgaben (Tasks) in Zukunft möglicherweise von KI-Agenten in Unternehmen übernommen werden können.

Interessant bei dem Paper ist, dass dazu auch eine ausführliche Website https://the-agent-company.com/ aufgebaut wurde, auf der Videos, inkl. der verschiedenen KI-Agenten zu finden sind. Interessiert Sie das? Wenn ja, nutzen Sie einfach den Quick Start Guide und legen Sie los!

Natürlich sollte jedes Unternehmen für sich herausfinden, welche Tasks von KI-Agenten sinnvoll übernommen werden sollten. Dabei wird schon deutlich, dass es hier nicht darum geht, ganze Berufe zu ersetzen, sondern ein Sammelsurium von unterschiedlichen Tasks (Ausgaben) autonom durchführen zu lassen.

Hervorzuheben ist aus meiner Sicht natürlich, dass die Autoren mit dem letzten Satz in ihrem Paper darauf hinweisen, dass die Nutzung von Open Source AI in Zukunft ein sehr vielversprechender Ansatz sein kann – aus meiner Sicht: sein wird!

“We hope that TheAgentCompany provides a first step, but not the only step, towards these goals, and that we or others may build upon the open source release of TheAgentCompany to further expand in these promising directions” (Xu et al 2025).

Veröffentlicht am

Mit Cloudfare unbefugtes Scraping und Verwenden von Originalinhalten stoppen

Image by Werner Moser from Pixabay

In den letzten Jahren haben die bekannten KI-Tech-Unternehmen viel Geld damit verdient, Daten aus dem Internet zu sammeln und als Trainingsdaten für Large Language Models (LLMs) zu nutzen. Dabei sind diese Unternehmen nicht gerade zimperlich mit Datenschutz oder auch mit Urheberrechten umgegangen.

Es war abzusehen, dass es gegen dieses Vorgehen Widerstände geben wird. Neben den verschiedenen Klagen von Content-Erstellern wie Verlagen, Filmindustrie usw. gibt es nun immer mehr technische Möglichkeiten, das unberechtigte Scraping und Verwenden von Originalinhalten zu stoppen. Ein kommerzielles Beispiel dafür ist Cloudfare. In einer Pressemitteilung vom 01.07.2025 heißt es:

“San Francisco (Kalifornien), 1. Juli 2025 – Cloudflare, Inc. (NYSE: NET), das führende Unternehmen im Bereich Connectivity Cloud, gibt heute bekannt, dass es nun als erster Anbieter von Internetinfrastruktur standardmäßig KI-Crawler blockiert, die ohne Erlaubnis oder finanziellen Ausgleich auf Inhalte zugreifen. Ab sofort können Eigentümerinnen und Eigentümer von Websites bestimmen, ob KI-Crawler überhaupt auf ihre Inhalte zugreifen können, und wie dieses Material von KI-Unternehmen verwertet werden darf” (Source: Cloudfare).

Siehe dazu auch Cloudflare blockiert KI-Crawler automatisch (golem vom 01.07.2025). Ich kann mir gut vorstellen, dass es in Zukunft viele weitere kommerzielle technische Möglichkeiten geben wird, Content freizugeben, oder auch zu schützen.

Das ist zunächst einmal gut, doch sollte es auch Lösungen für einzelne Personen geben, die sich teure kommerzielle Technologie nicht leisten können oder wollen. Beispielsweise möchten wir auch nicht, dass unsere Blogbeiträge einfach so für Trainingsdaten genutzt werden. Obwohl wir ein Copyright bei jedem Beitrag vermerkt haben, wissen wir nicht, ob diese Daten als Trainingsdaten der LLMs genutzt werden, da die KI-Tech-Konzerne hier keine Transparenz zulassen. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Dazu gibt es eine weitere interessante Entwicklung, die ich in dem Beitrag Creative Commons: Mit CC Signals Content für Künstliche Intelligenz freigeben – oder auch nicht erläutert habe.

Veröffentlicht am

Digitale Souveränität: Was macht ihr denn so mit eurer Nextcloud? Antwort: Immer mehr!

Screenshot unserer Nextcloud-Startseite

Digitale Abhängigkeit kann für Personen, Organisationen oder ganze Gesellschaften kritisch sein. In Zeiten der Trump-Administration und der massiven Marktbeherrschung bei Software, Cloud-Anwendungen und Künstlicher Intelligenz durch US-amerikanische Tech-Konzerne wird es Zeit, auf allen Ebenen über Digitale Souveränität nachzudenken, und entsprechend zu handeln.

Zum Beispiel mit: Sovereign Workplace: Der unabhängige Arbeitsplatz auf integrierter Open Source Basis. Weiterhin wird vielen Verwaltungen in der Zwischenzeit klar, wie viel Geld an Rahmenverträgen, Lizenzen und Software an Big-Tech gezahlt werden muss. Es sind 13,6 Milliarden Euro pro Jahr (Quelle: Golem 04.07.2025).

In der Zwischenzeit gibt es viele Open Source Anwendungen die als Alternativen zur Verfügung stehen. Das dänische Digitalministerium ersetzt beispielsweise Microsoft Office durch Libre Office, Schleswig-Holstein setzt in der Verwaltung auf Nextcloud usw. usw.

Wir haben diese Entwicklung schon vor Jahren kommen sehen, und uns langsam aber sicher ein eigenes Open-Source-Ökosystem zusammengestellt, das wir immer stärker nutzen und ausbauen – Schritt für Schritt.

(1) Zunächst haben wir Nextcloud auf unseren Servern installiert. Damit konnten wir die bekannten Microsoft-Anwendungen, inkl. MS-Teams (jetzt mit Nextcloud Talk), Whiteboard, usw. ersetzen. Dateien können auch kollaborativ, also gemeinsam, bearbeitet werden. Siehe dazu beispielsweise auch Google Drive im Vergleich zu Nextcloud. Alle Möglichkeiten der Nextcloud finden Sie unter https://nextcloud.com/.

(2) Anschließend haben wir OpenProject auf unseren Servern installiert und mit unserer Nextcloud verknüpft. Wir können damit Plangetriebenes Projektmanagement, Hybrides und Agiles Projektmanagement abbilden. Die Integration mit unserer Nextcloud bietet die Möglichkeit, aus OpenProject heraus die komplette Dateiverwaltung in Nextcloud zu verwalten: Projektarbeit mit Nextcloud: Dateien kollaborativ organisieren und bearbeiten.

(3) Danach haben wir den Nextcloud-Assistenten integriert, sodass wir in jeder Nextcloud-Anwendung den Assistenten mit seinen verschiedenen Funktionen nutzen können; inkl. eines Chats mit hinterlegter lokaler Künstlichen Intelligenz – LocalAI (Siehe Punkt 5).

(4) Mit Nextcloud Flow können wir Abläufe automatisieren. Zunächst natürlich Routineabläufe, und wenn es komplexer wird mit KI-Agenten (Siehe Punkt 6).

(5) Eine weitere wichtige Ergänzung war dann LocalAI, das uns lokale KI-Anwendungen auf unserem Server ermöglicht – eingebunden in den Nextcloud-Assistenten (Siehe Punkt 3) Alle Daten bleiben auch hier auf unseren Servern.

(6) Aktuell arbeiten und testen wir KI-Agenten auf Open-Source-Basis. Dabei verknüpfen wir über Ollama eine ausgewählte Trainingsdatenbank (Large Language Model oder Small Language Model – alles natürlich Open Source AI) mit unseren eigenen Daten, die in unserer Nextcloud zur Verfügung stehen. Dafür verwenden wir aktuell Langflow, das auch auf unserem Servern installiert ist – auch diese Daten bleiben alle bei uns.

(…..) und das ist noch lange nicht das Ende der Möglichkeiten. Sprechen Sie uns gerne an, wenn Sie zu den genannten Punkten Fragen haben.

Veröffentlicht am

Digitale Souveränität: Die Initiative AI for Citizens

Website: https://mistral.ai/news/ai-for-citizens

Immer mehr Privatpersonen, Organisationen, Verwaltungen usw. überlegen, wie sie die Möglichkeiten der Künstlichen Intelligenz nutzen können. Dabei gibt es weltweit drei grundsätzlich unterschiedliche Richtungen: Der US-amerikanische Ansatz (Profit für wenige Unternehmen), der chinesische Ansatz (KI für die politische Partei) und den europäischen Ansatz, der auf etwas Regulierung setzt, ohne Innovationen zu verhindern. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Es freut mich daher sehr, dass es in Europa immer mehr Initiativen gibt, die Künstliche Intelligenz zum Wohle von Bürgern und der gesamte Gesellschaft anbieten möchten – alles Open Source. Das in 2023 gegründete Unternehmen Mistral AI hat so einen Ansatz, der jetzt in der Initiative AI for Citizens eine weitere Dynamik bekommt, und einen Gegenentwurf zu den Angeboten der bekannten Tech-Giganten darstellt:

“Empowering countries to use AI to transform public action and catalyze innovation for the benefit of their citizens” (Quelle).

Dabei listet die Website noch einmal ausführlich die Nachteile der “One size fits all AI” auf, die vielen immer noch nicht bewusst sind.

Informieren Sie sich über die vielen Chancen, Künstliche Intelligenz offen und transparent zu nutzen und minimieren Sie die Risiken von KI-Anwendungen, indem Sie offene und transparente Trainingsmodelle (Large Language Models; Small Language Models) und KI-Agenten nutzen. Siehe dazu auch

Das Kontinuum zwischen Closed Source AI und Open Source AI

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Veröffentlicht am

Künstliche Intelligenz: 40% der Projekte zu Agentic AI werden wohl bis Ende 2027 eingestellt (Gartner)

Die Überschrift ist reißerisch und soll natürlich Aufmerksamkeit generieren. Dabei stellt man sich natürlich gleich die Frage: Wie kommt das? Geschickt ist, dass Gartner selbst die Antwort gibt:

“Over 40% of agentic AI projects will be canceled by the end of 2027, due to escalating costs, unclear business value or inadequate risk controls, according to Gartner, Inc.” (Gartner vom 25.06.2025).

Es ist nun wirklich nicht ungewöhnlich, dass in der ersten Euphorie zu Agentic AI alles nun wieder auf ein sinnvolles und wirtschaftliches Maß zurückgeführt wird. Dennoch haben Unternehmen, die entsprechende Projekte durchgeführt haben, wertvolles (Erfahrungs-)Wissen generiert.

Schauen wir uns in diesem Zusammenhang den bekannten Gartner Hype Cycle 2025 an, so können wir sehen, dass AI Agents ihren “Peak of Inflated Expectations” erreicht haben, und es nun in das Tal “Through of Desillusionment” geht. Dabei wird in dem oben genannten Artikel natürlich auch darauf hingewiesen, dass Gartner gerne beratend behilflich ist, Agentic AI wirtschaftlicher und besser zu gestalten. Honi soit qui mal y pense.

Dennoch können gerade Kleine und Mittlere Unternehmen (KMU) von dieser Entwicklung profitieren, indem sie bewusst und sinnvoll KI Agenten nutzen. Am besten natürlich in Zusammenhang mit Open Source AI. Komisch ist, dass Open Source AI in dem Gartner Hype Cycle gar nicht als eigenständiger Begriff vorkommt. Honi soit qui mal y pense.