Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:
Mistral 3 Large A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.
Mistral 3 A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.
Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.
In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:
„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)
Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.
Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.
Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.
Wenn es um Innovationen geht, denken viele an bahnbrechende Erfindungen (Inventionen), die dann im Markt umgesetzt, und dadurch zu Innovationen werden.. Da solche Innovationen oft grundlegende Marktstrukturen verändern, werden diese Innovationen mit dem Begriff „disruptiv“ charakterisiert. Siehe dazu auch Disruptive Innovation in der Kritik.
Betrachten wir uns allerdings die Mehrzahl von Innovationen etwas genauer, so entstehen diese hauptsächlich aus der Neukombination von bestehenden Konzepten. Dazu habe ich auch eine entsprechende Quelle gefunden, die das noch einmal unterstreicht.
„New ideas do not come from the ether; they are based on existing concepts. Innovation scholars have long pointed to the importance of recombination of existing ideas. Breakthrough often happen, when people connect distant, seemingly unrelated ideas“ (Mollick 2024).
Bei Innovationsprozessen wurden schon in der Vergangenheit immer mehr digitale Tools eingesetzt. Heute allerdings haben wir mit Künstlicher Intelligenz (GenAI) ganz andere Möglichkeiten, Neukombinationen zu entdecken und diese zu Innovationen werden zu lassen.
Dabei kommt es natürlich darauf an, welche Modelle (Large Language Models, Small Language Models, Closed Sourced Models, Open Weighted Models, Open Source Models) genutzt werden.
Wir favorisieren nicht die GenAI Modelle der bekannten Tech-Unternehmen, sondern offene, transparente und für alle frei zugängige Modelle, um daraus dann Innovationen für Menschen zu generieren.
Wir setzen diese Gedanken auf unseren Servern mit Hilfe geeigneter Open Source Tools und Open Source Modellen um:
Dabei bleiben alle Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.
Den Gedanken, dass Künstliche Intelligenz (Cognitive Computing) Innovationen (hier: Open Innovation) unterstützen kann, habe ich schon 2015 auf der Weltkonferenz in Montreal (Kanada) in einer Special Keynote vorgestellt.
Siehe dazu Freund, R. (2016): Cognitive Computing and Managing Complexity in Open Innovation Model. Bellemare, J., Carrier, S., Piller, F. T. (Eds.): Managing Complexity. Proceedings of the 8th World Conference on Mass Customization, Personalization, and Co-Creation (MCPC 2015), Montreal, Canada, October 20th-22th, 2015, pp. 249-262 | Springer
In allen Projekten werden mehr oder weniger oft digitale Tools, bzw. komplette Kollaborationsplattformen eingesetzt. Hinzu kommen jetzt immer stärker die Möglichkeiten der Künstlicher Intelligenz im Projektmanagement (GenAI, KI-Agenten usw.).
Projektverantwortliche stehen dabei vor der Frage, ob sie den KI-Angeboten der großen Tech-Konzerne vertrauen wollen – viele machen das. Immerhin ist es bequem, geht schnell und es gibt auch gute Ergebnisse. Warum sollte man das hinterfragen? Möglicherweise gibt es Gründe.
Es ist schon erstaunlich zu sehen, wie aktuell Mitarbeiter ChatGPT, Gemini usw. mit personenbezogenen Daten (Personalwesen) oder auch unternehmensspezifische Daten (Expertise aus Datenbanken) füttern, um schnelle Ergebnisse zu erzielen – alles ohne zu fragen: Was passiert mit den Daten eigentlich? Siehe dazu auch Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?
Es stellt sich zwangsläufig die Frage, wie man diesen Umgang mit den eigenen Daten und das dazugehörende Handeln bewertet. An dieser Stelle kommt der Begriff Ethik ins Spiel, denn Ethik befasst sich mit der „Bewertung menschlichen Handelns“ (Quelle: Wikipedia). Dazu passt in Verbindung zu KI in Projekten folgende Textpassage:
„In vielen Projektorganisationen wird derzeit intensiv darüber diskutiert, welche Kompetenzen Führungskräfte in einer zunehmend digitalisierten und KI-gestützten Welt benötigen. Technisches Wissen bleibt wichtig – doch ebenso entscheidend wird die Fähigkeit, in komplexen, oft widersprüchlichen Entscheidungssituationen eine ethisch fundierte Haltung einzunehmen. Ethische Kompetenz zeigt sich nicht nur in der Einhaltung von Regeln, sondern vor allem in der Art, wie Projektleitende mit Unsicherheit, Zielkonflikten und Verantwortung umgehen“ (Bühler, A. 2025, in Projektmanagement Aktuell 4/2025).
Unsere Idee ist daher, eine immer stärkere eigene Digitale Souveränität – auch bei KI-Modellen. Nextcloud, LocalAI, Ollama und Langflow auf unseren Servern ermöglichen es uns, geeigneter KI-Modelle zu nutzen, wobei alle generierten Daten auf unseren Servern bleiben. Die verschiedenen KI-Modelle können farbig im Sinne einer Ethical AI bewertet werden::
Um digital souveräner zu werden, haben wir seit einiger Zeit Nextcloud auf einem eigenen Server installiert – aktuell in der Version 32. Das ist natürlich erst der erste Schritt, auf den nun weitere folgen – gerade wenn es um Künstliche Intelligenz geht.
Damit wir auch bei der Nutzung von Künstlicher Intelligenz digital souverän bleiben, haben wir zusätzlichLocalAIinstalliert. Dort ist es möglich, eine Vielzahl von Modellen zu testen und auszuwählen. In der folgenden Abbildung ist zu sehen, dass wir das KI-Modell llama-3.2-3B-instruct:q4_k_m für einen Chat ausgewählt haben. In der Zeile „Send a massage“ wurde der Prompt „Nenne wichtige Schritte im Innovationsprozess“ eingegeben. Der Text wird anschließend blau hinterlegt angezeigt. In dem grünen Feld ist ein Teil der Antwort des KI-Modells zu sehen.
LocalAI auf unserem Server: Ein Modell für den Chat ausgewählt
Im nächsten Schritt geht es darum, das gleiche KI-Modell im Nextcloud Assistant zu hinterlegen. Der folgende Screenshot zeigt das Feld (rot hervorgehoben). An dieser Stelle werden alle in unserer LocalAI hinterlegten Modelle zur Auswahl angezeigt, sodass wir durchaus variieren könnten. Ähnliche Einstellungen gibt es auch für andere Funktionen des Nextcloud Assistant.
Screenshot: Auswahl des Modells für den Nextcloud Assistenten in unserer Nextcloud – auf unserem Server
Abschließend wollen wir natürlich auch zeigen, wie die Nutzung des hinterlegten KI-Modells in dem schon angesprochenen Nextcloud Assistant aussieht. Die folgende Abbildung zeigt den Nextcloud Assistant in unserer Nextcloud mit seinen verschiedenen Möglichkeiten – eine davon ist Chat mit KI. Hier haben wir den gleichen Prompt eingegeben, den wir schon beim Test auf LocalAI verwendet hatten (Siehe oben).
Screenshot von dem Nextcloud Assistant mit der Funktion Chat mit KI und der Antwort auf den eigegebenen Prompt
Der Prompt ist auf der linken Seite zu erkennen, die Antwort des KI-Modells (llama-3.2-3B-instruct:q4_k_m) ist rechts daneben wieder auszugsweise zu sehen. Weitere „Unterhaltungen“ können erstellt und bearbeitet werden.
Das Zusammenspiel der einzelnen Komponenten funktioniert gut. Obwohl wir noch keine speziellen KI-Server hinterlegt haben, sind die Antwortzeiten akzeptabel. Unser Ziel ist es, mit wenig Aufwand KI-Leistungen in Nextcloud zu integrieren. Dabei spielen auch kleine, spezielle KI-Modelle eine Rolle, die wenig Rechenkapazität benötigen.
Alles natürlich Open Source, wobei alle Daten auf unseren Servern bleiben.
Wir werden nun immer mehr kleine, mittlere und große KI-Modelle und Funktionen im Nextcloud Assistant testen. Es wird spanned sein zu sehen, wie dynamisch diese Entwicklungen von der Open Source Community weiterentwickelt werden.
In den letzten Jahren wird immer deutlicher, dass Künstliche Intelligenz unser wirtschaftliches und gesellschaftliches Leben stark durchdringen wird. Dabei scheint es so zu sein, dass die Künstliche Intelligenz der Menschlichen Intelligenz weit überlegen ist. Beispielsweise kann Künstliche Intelligenz (GenAI) äußerst kreativ sein, was in vielfältiger Weise in erstellten Bildern oder Videos zum Ausdruck kommt. In so einem Zusammenhang behandeln wir Künstliche Intelligenz (AI: Artificial Intelligence) wie Kreative und im Gegensatz dazu Menschen eher wie Roboter. Dazu habe ich folgenden Text gefunden:
„We are treating humans as robots and ai as creatives. it is time to flip the equation“ (David de Cremer in Bornet et al. 2025).
David de Cremer ist der Meinung, dass wir die erwähnte „Gleichung“ umstellen sollten. Dem kann ich nur zustimmen, denn das aktuell von den Tech-Giganten vertretene Primat der Technik über einzelne Personen und sogar ganzen Gesellschaften sollte wieder auf ein für alle Beteiligten gesundes Maß reduziert werden. Damit meine ich, dass die neuen technologischen Möglichkeiten einer Künstlichen Intelligenz mit den Zielen von Menschen/Gesellschaften und den möglichen organisatorischen und sozialen Auswirkungen ausbalanciert sein sollten.
Eigener Screenshot: Installation von Open Euro LLM 9B Instruct in unserer LocalAI
Es ist schon erstaunlich, wie dynamisch sich länderspezifische (Polen, Spanien, Schweden usw.) Large Language Models (LLMs) und europäische LLMs entwickeln. In 2024 wurde Teuken 7B veröffentlicht, über das wir in unserem Blog auch berichtet hatten. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data. Weiterhin haben wir damals auch schon Teuken 7B in unsere LocalAI integriert.
Nun also Open EuroLLM, ein Large language Modelmade in Europebuilt to support allofficial 24 EU languages. Die generierten Modelle sind Multimodal, Open Source, High Performance und eben Multilingual. Interessant dabei ist, dass damit Innovation angestoßen werden sollen.
Das große Modell eurollm-9b-instruct haben wir in unserer LocalAI installiert. Die Abbildung zeigt den Installationsprozess. Ich bin sehr gespannt darauf, wie sich das Modell in unserer LocalAI im Vergleich zu anderen Modellen schlägt. Möglicherweise werden wir auch noch einmal das kleine Modell 1.7B installieren, das auf Huggingface verfügbar ist.
Alle Modelle, die wir in unserer LocalAI installieren, können wir auch je nach Anwendung in unserer Nextcloud über den Nextcloud Assistenten und der Funktion „Chat mit KI“ nutzen. Dabei bleiben alle generierten Daten auf unserem Server – ganz im Sinne einer Digitalen Souveränität.
Eigener Screenshot von unserer Nextcloud mit der App „Collective“
Unsere Nextcloud (Open Source) ist ein zentrales Element auf dem Weg zur Digitalen Souveränität. Dazu gehören nicht nur Möglichkeiten, LocalAI oder auch KI-Agenten zu nutzen, sondern auch Anwendungen (Apps), die wir im Tagesgeschäft benötigen.
Zum Beispiel haben wir die App Collective installiert und aktiviert. In der Abbildung ist ein Screenshot von einer angelegten Startseite zum Thema „Agentic AI Company“ zu sehen.
Zu diesem Bereich kann ich nun verschiedene Teilnehmer zuordnen/einladen. Dabei können alle die jeweiligen Seiten wie in einem Wiki kollaborativ bearbeiten. Diese Möglichkeit geht über die reine Bereitstellung eines gemeinsamen Ordners hinaus und unterstützt die gemeinsame Entwicklung von (expliziten) Wissen.
Wichtig dabei ist, dass alle Daten, die hier gemeinsam geteilt und bearbeitet werden, auf unserem Server bleiben.
Natürlich können auch andere Wiki-Apps (Open Source) in die Nextcloud eingebunden werden. Jeder kann somit seine Nextcloud so konfigurieren, wie er möchte.
Zur Digitalen Souveränitätund zu Nextcloud habe ich in unserem Blog schon mehrfach, auch in Verbindung mit Künstlicher Intelligenz und KI-Agenten, geschrieben. Siehe meine verschiedenen Blogbeiträge dazu.
An dieser Stelle möchte ich daher nur auf die am 27.09.2025 veröffentlichte neue Nextcloud Version 32 (Hub 25) hinweisen. Es ist erstaunlich, welche dynamische Entwicklung diese Open Source Kollaborations-Plattform in den letzten Jahren verzeichnen kann. Immerhin bietet Nextcloud neben Alternativen zu den üblichen Office-Anwendungen, auch Nextcloud Talk (MS Teams Ersatz), ein Whiteboard, Nextcloud Flow (Abläufe optimieren), auch eine Integration mit Open Project an.
Mit dem Upgrade auf Nextcloud 32 wird auch der Nextcloud Assistent verbessert. Mit Hilfe verschiedener Features wie Chat mit KI usw. wird der Assistent zu einem persönlichen Agenten, der unterschiedliche Abläufe übernehmen kann.
Über die Verbindung zu LocalAI können die verschiedenen Möglichkeiten mt einem KI-Modell – oder mit verschiedenen KI-Modellen – verknüpft werden, sodass alle generierten Daten auf unserem Server bleiben. Ein in der heutigen Zeit unschätzbarer Vorteil, wodurch der Nextcloud Assistent in diesem Sinne ein Alleinstellungsmerkmal aufweist – ganz im Sinne einer Digitalen Souveränität.
Wir werden in Kürze auf die Version 32 (Hub 25) upgraden, und die neuen Features testen. In diesem Blog werde ich in den kommenden Woche darüber schreiben.
Eigener Screenshot: olmo2 istalliert in Ollama auf unserem Server
Auf unseren Servern haben wir LocalAI installiert, das wir über den Nextcloud Assistenten in allen Nextcloud-Anwendungen nutzen können. Dabei bleiben alle Daten auf unserem Server.
Weiterhin arbeiten wir an KI-Agenten, die wir in Langflow entwickeln. Dazu greifen wir auf Modelle zurück, die wir in Ollama installiert haben. Auch Langflow und Ollama sind auf unserem Servern installiert, sodass auch hier alle Daten bei uns bleiben.
In Ollama haben wir nun ein weiteres Modell installiert, das aus einer ganzen OLMo2-Familie stammt. In der Abbildung ist zu erkennen, dass wir OLMo2:latest installiert haben. Wir können nun auch das Modell in Ollama testen und dann später – wie schon angesprochen – in Langflow in KI-Agenten einbinden.
Alle Modelle, die wir auf unseren Servern installieren, sollen den Anforderungen einer Open Source AI entsprechen. Manchmal nutzen wir auch Open Weights Models, um zu Testzwecken die Leistungsfähigkeit verschiedener Modelle zu vergleichen. Siehe dazu Das Kontinuum zwischen Closed Source AI und Open Source AI.
Das Modell OLMo2:latest ist ein Modell, aus einer Modell-Familie, dass im wissenschaftlichen Umfeld / Forschung eingesetzt werden kann.
„OLMo is Ai2’s first Open Language Model framework, intentionally designed to advance AI through open research and to empower academics and researchers to study the science of language models collectively“ (Ai2-Website).
An diesem Beispiel zeigt sich, dass es einen Trend gibt: Weg von einem Modell, das alles kann – one size fits all. In Zukunft werden immer mehr Modelle gefragt und genutzt werden. die sich auf eine bestimmte berufliche Domäne (Forschung, Wissenschaft etc.) fokussieren und dadurch bessere Ergebnisse erzielen und weniger Ressourcen benötigen.
