Veröffentlicht am

Digitale Souveränität: Open Source KI-Systeme fördern Innovationen für die gesamte Gesellschaft

https://www.robertfreund.de/blog/2024/10/28/open-source-ai-definition-1-0-release-candidate-2-am-21-10-2024-veroeffentlicht/

Die kommerziellen, proprietären KI-Systeme machen den Eindruck, als ob sie die einzigen sind, die Innovationen generieren. In gewisser weise stimmt das auch, wenn man unter Innovationen die Innovationen versteht, die sich diese Unternehmen wünschen. Fast jeden Tag gibt es neue Möglichkeiten, gerade diese KI-Modelle zu nutzen. Dieses Modelle treiben ihre Nutzer vor sich her. Wer nicht alles mitmacht wird der Verlierer sein – so das Credo.

Dabei stehen Trainingsdaten zur Verfügung, die intransparent sind und in manchen Fällen sogar ein Mindset repräsentieren, das Gruppen von Menschen diskriminiert.

Versteht man unter Innovationen allerdings, das Neues für die ganze Gesellschaft generiert wird, um gesellschaftlichen Herausforderungen zu bewältigen, so wird schnell klar, dass das nur geht, wenn Transparenz und Vertrauen in die KI-Systeme vorhanden sind – und genau das bieten Open Source AI – Systeme.

„Open-source AI systems encourage innovation and are often a requirement for public funding. On the open extreme of the spectrum, when the underlying code is made freely available, developers around the world can experiment, improve and create new applications. This fosters a collaborative environment where ideas and expertise are readily shared. Some industry leaders argue that this openness is vital to innovation and economic growth. (…) Additionally, open-source models tend to be smaller and more transparent. This transparency can build trust, allow for ethical considerations to be proactively addressed, and support validation and replication because users can examine the inner workings of the AI system, understand its decision-making process and identify potential biases“ (UN 2024)

Siehe dazu auch

Das Kontinuum zwischen Closed Source AI und Open Source AI

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Open Source AI: Kimi K2 Thinking vorgestellt

Open Source AI: OlmoEarth Modell-Familie veröffentlicht

Digitale Souveränität: Verschiedene Open Source AI-Modelle ausprobieren

Open Source AI: Veröffentlichung der ALIA AI Modelle für ca. 600 Millionen Spanisch sprechender Menschen weltweit

Veröffentlicht am

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Image by Stefan Schweihofer from Pixabay

In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:

„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell
Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)

Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.

Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.

Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.

Veröffentlicht am

Mit Künstlicher Intelligenz zu Innovationen – aber wie?

Wenn es um Innovationen geht, denken viele an bahnbrechende Erfindungen (Inventionen), die dann im Markt umgesetzt, und dadurch zu Innovationen werden.. Da solche Innovationen oft grundlegende Marktstrukturen verändern, werden diese Innovationen mit dem Begriff „disruptiv“ charakterisiert. Siehe dazu auch Disruptive Innovation in der Kritik.

Betrachten wir uns allerdings die Mehrzahl von Innovationen etwas genauer, so entstehen diese hauptsächlich aus der Neukombination von bestehenden Konzepten. Dazu habe ich auch eine entsprechende Quelle gefunden, die das noch einmal unterstreicht.

„New ideas do not come from the ether; they are based on existing concepts. Innovation scholars have long pointed to the importance of recombination of existing ideas. Breakthrough often happen, when people connect distant, seemingly unrelated ideas“ (Mollick 2024).

Bei Innovationsprozessen wurden schon in der Vergangenheit immer mehr digitale Tools eingesetzt. Heute allerdings haben wir mit Künstlicher Intelligenz (GenAI) ganz andere Möglichkeiten, Neukombinationen zu entdecken und diese zu Innovationen werden zu lassen.

Dabei kommt es natürlich darauf an, welche Modelle (Large Language Models, Small Language Models, Closed Sourced Models, Open Weighted Models, Open Source Models) genutzt werden.

Wir favorisieren nicht die GenAI Modelle der bekannten Tech-Unternehmen, sondern offene, transparente und für alle frei zugängige Modelle, um daraus dann Innovationen für Menschen zu generieren.

Wir setzen diese Gedanken auf unseren Servern mit Hilfe geeigneter Open Source Tools und Open Source Modellen um:

LocalAI: Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI

Ollama und Langflow: Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Dabei bleiben alle Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Den Gedanken, dass Künstliche Intelligenz (Cognitive Computing) Innovationen (hier: Open Innovation) unterstützen kann, habe ich schon 2015 auf der Weltkonferenz in Montreal (Kanada) in einer Special Keynote vorgestellt.

Siehe dazu Freund, R. (2016): Cognitive Computing and Managing Complexity in Open Innovation Model. Bellemare, J., Carrier, S., Piller, F. T. (Eds.): Managing Complexity. Proceedings of the 8th World Conference on Mass Customization, Personalization, and Co-Creation (MCPC 2015), Montreal, Canada, October 20th-22th, 2015, pp. 249-262 | Springer

Veröffentlicht am

Digitale Souveränität: Projekt SOOFI (Sovereign Open Source Foundation Models) gestartet

Quelle: Pressemitteilung | PDF | zu SOOFI

In unserem Blog habe ich schon oft über die notwendige Digitale Souveränität von einzelnen Personen, Organisationen und Länder geschrieben. Es wird dabei immer deutlicher, dass wir in Europa Modelle benötigen, die nicht vom Mindset amerikanischer Tech-Konzernen oder vom Mindset chinesischer Politik dominiert werden, und auf Open Source Basis zur Verfügung stehen.

So etwas soll nun mit SOOFI (Sovereign Open Source Foundation Models) entwickelt werden. In der Abbildung ist der prinzipielle Aufbau zu erkennen. Auf Basis geeigneter Daten können Foundation Models an die jeweiligen Bedürfnisse ganzer Branchen angepasst werden. Darauf aufbauend, schließen sich u.a. auch AI Agenten an.

„Ein wichtiger Schritt für die europäische KI-Souveränität: Unter SOOFI arbeiten zukünftig Wissenschaftlerinnen und Wissenschaftler aus 6 führenden deutschen Forschungseinrichtungen zusammen, um souveräne europäische Alternativen zu KI Technologien aus den USA und China bereitzustellen. Der Fokus liegt darin, mit den Modellen einen Beitrag für die industrielle Nutzung von KI zu leisten“ (Quelle: Pressemitteilung | PDF).

Möglicherweise interessieren Sie auch noch folgende Beiträge zum Thema:
Digitale Souveränität: Europa, USA und China im Vergleich
Von der digitalen Abhängigkeit zur digitalen Souveränität,
Digitale Souveränität: Welche Open Source Alternativen gibt es?
Digitale Souveränität: Souveränitätsscore für KI Systeme
Digitale Souveränität: Google Drive im Vergleich zu Nextcloud

Veröffentlicht am

Open Source AI: Kimi K2 Thinking vorgestellt

Mit DeepSeek ist chinesischen Entwicklern ein Coup gelungen, denn sie konnten zeigen, dass ein KI-Modell nicht teuer sein muss. Die amerikanischen Tech-Giganten standen damals mit ihren Milliarden-Investitionen ziemlich schlecht dar.

Nun gibt es mit Kimi K2 Thinking ein weiteres Modell, mit dem chinesische Entwickler zeigen, wie mit relativ wenigen Ressourcen – und damit Kosten – ein leistungsfähiges Modell angeboten werden kann. Der Schwerpunkt des Modells liegt dabei auf „Coding“.

Es ist Open Source basiert und wurde unter der MIT-Lizenz veröffentlicht. Diese enthält eine interessante Klausel: Da amerikanische Konzerne chinesische Open Source Modelle gerne für ihre Entwicklungen nutzen – ohne das transparent zu machen – ist die freie kommerzielle Nutzung bis zu einem monatlichen Umsatz von 20 Millionen Dollar möglich.

Kimi K2 Thinking ist ein MoE-Modell, (for Coding) dessen Entwicklung nur 4,6 Millionen Dollar gekostet haben soll – wieder eine beeindruckende Kennzahl. Darüber hinaus zeigen Benchmarks, die enorme Leistungsfähigkeit des Modells. Weitere Informationen sind in dem folgenden Beitrag zusammengefasst:

Moonshot AI stellt Kimi K2 Thinking als „bestes Open-Source-Thinking-Modell“ vor (Krempler, J. 2025, in the decoder vom 07.11.2025).

Mal sehen, ob wir das Modell auch in LocalAI, bzw. in Ollama auf unseren Servern einbinden können. Bis dahin kann auf der Landingpage Kimi K2 Thinking getestet werden.

Veröffentlicht am

Open Source AI: OlmoEarth Modell-Familie veröffentlicht

Screenshot: https://allenai.org/blog/olmoearth-models

Über die Open Source AI-Modelle der Olmo2-Familie habe ich schon einmal in diesem Blogbeitrag geschrieben. Grundsätzlich soll mit diesen Modellen die Forschung an Sprachmodellen unterstützt werden. Anfang November hat Ai2 nun bekannt gegeben, dass mit OlmoEarth eine weitere Modell-Familie als Foundation Models (Wikipedia) zur Verfügung steht.

„OlmoEarth is a family of open foundation models built to make Earth AI practical, scalable, and performant for real-world applications. Pretrained on large volumes of multimodal Earth observation data“ (Source: Website).

Es handelt sich also um eine offene, trainierte Modell-Familie, die zur Lösung realer Probleme (real world problems) beitragen sollen. Hier ein Beispiel von der Nutzung der Daten für eine Fragestellung in Nigeria:

Es gibt vier unterschiedliche Modelle. Interessant dabei ist, dass es auch kleine Modelle (Nano und Tiny) gibt, die kostengünstig sind, und schnell genutzt werden können:

OlmoEarth-v1-Nano (~1.4M parameters) & OlmoEarth-v1-Tiny (~6.2M)—for fast, cheap inference at scale
OlmoEarth-v1-Base (~90M)—balanced accuracy and speed for most use cases
OlmoEarth-v1-Large (~300M)—best performance on challenging tasks

Auf der OlmoEarth-Platform können die Modelle getestet werden.

Veröffentlicht am

Innovationen: Künstliche Intelligenz und Neu-Kombinationen

Bei Innovationen sollten wir uns zunächst einmal klar machen, was im Unternehmenskontext darunter zu verstehen ist. Das Oslo Manual schlägt vor, Innovation wie folgt zu interpretieren:

„(…) a new or improved product or process (or combination thereof) that differs significantly from the unit’s previous products or processes and that has been made available to potential users (product) or brought into use by the unit (process)” (Oslo Manual 2018).

Dass Innovation u.a. eine Art Neu-Kombination von Existierendem bedeutet, ist vielen oft nicht so klar (combination thereof). Neue Ideen – und später Innovationen – entstehen oft aus vorhandenen Konzepten. oder Daten.

An dieser Stelle kommen nun die Möglichkeiten der Künstlichen Intelligenz (GenAI oder auch AI Agenten) ins Spiel. Mit KI ist es möglich, fast unendlich viele Neu-Kombinationen zu entwickeln, zu prüfen und umzusetzen. Das können Unternehmen nutzen, um ihre Innovationsprozesse neu zu gestalten, oder auch jeder Einzelne für seine eigenen Neu-Kombinationen im Sinne von Open User Innovation nutzen. Siehe dazu Von Democratizing Innovation zu Free Innovation.

Entscheidend ist für mich, welche KI-Modelle dabei genutzt werden. Sind es die nicht-transparenten Modelle der Tech-Unternehmen, die manchmal sogar die Rechte von einzelnen Personen, Unternehmen oder ganzer Gesellschaften ignorieren, oder nutzen wir KI-Modelle, die frei verfügbar, transparent und für alle nutzbar sind (Open Source AI)?

Wenn wir das Wohl der Menschen, und nicht nur den Profit einzelner Tech-Konzerne in den Mittelpunkt stellen, kommt für mich im Sinne einer Digitalen Souveränität nur Open Source AI infrage. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Digitale Souveränität: Nextcloud Workflow

Screenshot: Nextcloud Workflow auf unserem Server

Mit Nextcloud haben wir eine Open Source Software auf unserem Server installiert, die je nach Bedarf mit Hilfe von Apps (Anwendungen) erweitert werden kann. Für die Verbesserung der Produktivität gibt es zunächst einmal die App Flow, mit der einfache Abläufe automatisiert werden können.

Sind die Ansprüche etwas weitreichender, bietet sich die App Workflow an, die wir auch installiert haben. Die App basiert auf Windmill und ermöglicht es uns, Abläufe (Workflows) per bekannter Symbole darzustellen. In der Abbildung sind links die zwei einfachen Symbole „Input“ und „Output“ zu sehen. Rechts daneben werden die Details zu den einzelnen Button und Schritte angezeigt – das Prinzip dürfte klar sein, Einzelheiten zu den vielfältigen Optionen erspare ich mir daher.

Es ist immer wieder erstaunlich, wie schnell viele Apps auf Open Source Basis zur Verfügung stehen, und je nach Bedarf genutzt werden können. Aktuell ist die Anzahl der generierbaren Workflows über die freie Version von Nextcloud noch begrenzt. Alternativ könnten wir auch Windmill direkt auf unserem Server installieren: Self-host Windmill. Ähnlich haben wir es schon mit OpenProject gemacht. Wobei es dann aus der Anwendung heraus möglich ist, auf Nextcloud-Daten zuzugreifen.

Ob wir das machen hängt davon ab, ob wir mit Workflow in Zukunft weiterarbeiten, oder alle Arten von Flows direkt in Langflow abbilden, da wir dort den direkten Übergang zu KI-Agenten haben. Alle Open Source Anwendungen laufen auf unseren Servern, sodass alle generierten Daten auch bei uns bleiben. Ganz im sinne einer Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Mit Langflow einen einfachen Flow mit Drag & Drop erstellen

Eigener Screenshot vom Langflow-Arbeitsbereich, inkl. der Navigation auf der linken Seite

Langflow haben wir als Open Source Anwendung auf unseren Servern installiert. Mit Langflow ist es möglich, Flows und Agenten zu erstellen – und zwar einfach mit Drag&Drop. Na ja, auch wenn es eine gute Dokumentation und viele Videos zu Langflow gibt, steckt der „Teufel wie immer im Detail“.

Wenn man mit Langflow startet ist es erst einmal gut, die Beispiele aus den Dokumentationen nachzuvollziehen. Ich habe also zunächst damit begonnen, einen Flow zu erstellen. Der Flow unterscheidet sich von Agenten, auf die ich in den nächsten Wochen ausführlicher eingehen werde.

Wie in der Abbildung zu sehen ist, gibt es einen Inputbereich, das Large Language Model (LLM) oder auch ein kleineres Modell, ein Small Language Model (SLM). Standardmäßig sind die Beispiele von Langflow darauf ausgerichtet, dass man OpenAI mit einem entsprechenden API-Key verwendet. Den haben wir zu Vergleichszwecken zwar, doch ist es unser Ziel, alles mit Open Source abzubilden – und OpenAI mit ChatGPT (und andere) sind eben kein Open Source AI.

Um das zu erreichen, haben wir Ollama auf unseren Servern installiert. In der Abbildung oben ist das entsprechende Feld im Arbeitsbereich zu sehe,n. Meine lokale Adresse für die in Ollama hinterlegten Modelle ist rot umrandet unkenntlich gemacht. Unter „Model Name“ können wir verschiedene Modelle auswählen. In dem Beispiel ist es custom-llama.3.2:3B. Sobald Input, Modell und Output verbunden sind, kann im Playground (Botton oben rechts) geprüft werden, ob alles funktioniert. Das Ergebnis sieht so aus:

Screenshot vom Playground: Ergebnis eines einfachen Flows in Langflow

Es kam mir jetzt nicht darauf an, komplizierte oder komplexe Fragen zu klären, sondern überhaupt zu testen, ob der einfache Flow funktioniert. Siehe da: Es hat geklappt!

Alle Anwendungen (Ollama und Langflow) sind Open Source und auf unseren Servern installiert. Alle Daten bleiben auf unseren Servern. Wieder ein Schritt auf dem Weg zur Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Um digital souveräner zu werden, haben wir seit einiger Zeit Nextcloud auf einem eigenen Server installiert – aktuell in der Version 32. Das ist natürlich erst der erste Schritt, auf den nun weitere folgen – gerade wenn es um Künstliche Intelligenz geht.

Damit wir auch bei der Nutzung von Künstlicher Intelligenz digital souverän bleiben, haben wir zusätzlich LocalAI installiert. Dort ist es möglich, eine Vielzahl von Modellen zu testen und auszuwählen. In der folgenden Abbildung ist zu sehen, dass wir das KI-Modell llama-3.2-3B-instruct:q4_k_m für einen Chat ausgewählt haben. In der Zeile „Send a massage“ wurde der Prompt „Nenne wichtige Schritte im Innovationsprozess“ eingegeben. Der Text wird anschließend blau hinterlegt angezeigt. In dem grünen Feld ist ein Teil der Antwort des KI-Modells zu sehen.

LocalAI auf unserem Server: Ein Modell für den Chat ausgewählt

Im nächsten Schritt geht es darum, das gleiche KI-Modell im Nextcloud Assistant zu hinterlegen. Der folgende Screenshot zeigt das Feld (rot hervorgehoben). An dieser Stelle werden alle in unserer LocalAI hinterlegten Modelle zur Auswahl angezeigt, sodass wir durchaus variieren könnten. Ähnliche Einstellungen gibt es auch für andere Funktionen des Nextcloud Assistant.

Screenshot: Auswahl des Modells für den Nextcloud Assistenten in unserer Nextcloud – auf unserem Server

Abschließend wollen wir natürlich auch zeigen, wie die Nutzung des hinterlegten KI-Modells in dem schon angesprochenen Nextcloud Assistant aussieht. Die folgende Abbildung zeigt den Nextcloud Assistant in unserer Nextcloud mit seinen verschiedenen Möglichkeiten – eine davon ist Chat mit KI. Hier haben wir den gleichen Prompt eingegeben, den wir schon beim Test auf LocalAI verwendet hatten (Siehe oben).

Screenshot von dem Nextcloud Assistant mit der Funktion Chat mit KI und der Antwort auf den eigegebenen Prompt

Der Prompt ist auf der linken Seite zu erkennen, die Antwort des KI-Modells (llama-3.2-3B-instruct:q4_k_m) ist rechts daneben wieder auszugsweise zu sehen. Weitere „Unterhaltungen“ können erstellt und bearbeitet werden.

Das Zusammenspiel der einzelnen Komponenten funktioniert gut. Obwohl wir noch keine speziellen KI-Server hinterlegt haben, sind die Antwortzeiten akzeptabel. Unser Ziel ist es, mit wenig Aufwand KI-Leistungen in Nextcloud zu integrieren. Dabei spielen auch kleine, spezielle KI-Modelle eine Rolle, die wenig Rechenkapazität benötigen.

Alles natürlich Open Source, wobei alle Daten auf unseren Servern bleiben.

Wir werden nun immer mehr kleine, mittlere und große KI-Modelle und Funktionen im Nextcloud Assistant testen. Es wird spanned sein zu sehen, wie dynamisch diese Entwicklungen von der Open Source Community weiterentwickelt werden.

Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.