Digitale Souveränität: Verschiedene Open Source AI-Modelle ausprobieren

Screenshot AI2 Playground

AI2 ist eine Non-Profit Organisation, die Künstliche Intelligenz für die vielfältigen gesellschaftlichen Herausforderungen entwickelt. Das 2014 in Seattle gegründete Institut stellt dabei auch verschiedene Open Source KI-Modelle zur Verfügung – u.a. auch OLMo2.

“OLMo 2 is a family of fully-open language models, developed start-to-finish with open and accessible training data, open-source training code, reproducible training recipes, transparent evaluations, intermediate checkpoints, and more” (Quelle).

Wenn man die von AI2 veröffentlichten KI-Modelle einmal testen möchte, kann man das nun in einem dafür eingerichteten Playground machen. Wie in der Abbildung zu erkennen, können Sie einzelne Modelle auswählen, und mit einem Prompt testen. Der direkte Vergleich der Ergebnisse zeigt Ihnen, wie sich die Modelle voneinander unterscheiden.

Siehe dazu auch Künstliche Intelligenz: Mit der OLMo2 Modell-Familie offene Forschung an Sprachmodellen vorantreiben.

Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI

Eigener Screenshot: Installation von Open Euro LLM 9B Instruct in unserer LocalAI

Es ist schon erstaunlich, wie dynamisch sich länderspezifische (Polen, Spanien, Schweden usw.) Large Language Models (LLMs) und europäische LLMs entwickeln. In 2024 wurde Teuken 7B veröffentlicht, über das wir in unserem Blog auch berichtet hatten. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data. Weiterhin haben wir damals auch schon Teuken 7B in unsere LocalAI integriert.

Nun also Open EuroLLM, ein Large language Model made in Europe built to support all official 24 EU languages. Die generierten Modelle sind Multimodal, Open Source, High Performance und eben Multilingual. Interessant dabei ist, dass damit Innovation angestoßen werden sollen.

Das große Modell eurollm-9b-instruct haben wir in unserer LocalAI installiert. Die Abbildung zeigt den Installationsprozess. Ich bin sehr gespannt darauf, wie sich das Modell in unserer LocalAI im Vergleich zu anderen Modellen schlägt. Möglicherweise werden wir auch noch einmal das kleine Modell 1.7B installieren, das auf Huggingface verfügbar ist.

Alle Modelle, die wir in unserer LocalAI installieren, können wir auch je nach Anwendung in unserer Nextcloud über den Nextcloud Assistenten und der Funktion “Chat mit KI” nutzen. Dabei bleiben alle generierten Daten auf unserem Server – ganz im Sinne einer Digitalen Souveränität.

Bris, A. (2025): SuperEurope: The Unexpected Hero of the 21st Century

Image by NoName_13 from Pixabay

Es ist schon manchmal zum Volkssport geworden, Europa für alles verantwortlich zu machen, was nicht so gut läuft. Dabei wird oft übersehen, dass wir gerade in Deutschland von unseren europäischen Partnern abhängig sind, und nur mit ihnen gemeinsam die großen Herausforderungen bewältigen können. Dabei steht Europa zwischen den USA und China,

Gerade wenn es um die technologischen Entwicklungen geht, werden wir in Europa oft mit den USA und China verglichen. Dabei kommt heraus, dass wir “weit hinter” den beiden Großmächten liegen. Es ist immer leicht, sich einen Teil des gesellschaftlichen Lebens herauszufiltern und diesen dann zu bewerten, ohne die Zusammenhänge zu betrachten. Neben den technologischen Entwicklungen geht es auch die sozialen Zusammenhänge in Gesellschaften. Alles ist eben mit allem vernetzt.

In den Buch Bris, A. (2025): SuperEurope: The Unexpected Hero of the 21st Century stellt der Autor Professor Arturo Bris eine für viele überraschende These auf: Europa als Vorbild für das 21. Jahrhundert. In der Beschreibung zum Buch findet man beispielsweise folgende Erläuterungen:

“While the world often focuses on the rivalry between the U.S. and China, Europe has steadily built a different path: one defined by high living standards, strong public institutions, universal healthcare, and a commitment to sustainability and human rights. Its cities lead in quality of life, its democracies remain among the most robust, and its cultural and regulatory influence—exemplified by GDPR, climate policy, and social protections—extends globally.

In contrast, the United States, though still dominant in innovation, faces mounting internal challenges: political dysfunction, social fragmentation, inequality, and mistrust in institutions. The dynamism of Silicon Valley and Wall Street has come at the cost of social cohesion and civic faith” (Bris 2025).

Ist es wirklich so erstrebenswert den Elons Musks, Sam Altmans, Donald Trumps, Peter Thiels, usw. usw. hinterherzurennen? Manche, die das relativ blind machen, sollten kurz innehalten und nachdenken.

Digitale Souveränität: Nextcloud Version 32 (Hub 25) – no data leaks to third parties

Landingpage zur Version 32 (Hub 25) auf Nextcloud

Zur Digitalen Souveränität und zu Nextcloud habe ich in unserem Blog schon mehrfach, auch in Verbindung mit Künstlicher Intelligenz und KI-Agenten, geschrieben. Siehe meine verschiedenen Blogbeiträge dazu.

An dieser Stelle möchte ich daher nur auf die am 27.09.2025 veröffentlichte neue Nextcloud Version 32 (Hub 25) hinweisen. Es ist erstaunlich, welche dynamische Entwicklung diese Open Source Kollaborations-Plattform in den letzten Jahren verzeichnen kann. Immerhin bietet Nextcloud neben Alternativen zu den üblichen Office-Anwendungen, auch Nextcloud Talk (MS Teams Ersatz), ein Whiteboard, Nextcloud Flow (Abläufe optimieren), auch eine Integration mit Open Project an.

Mit dem Upgrade auf Nextcloud 32 wird auch der Nextcloud Assistent verbessert. Mit Hilfe verschiedener Features wie Chat mit KI usw. wird der Assistent zu einem persönlichen Agenten, der unterschiedliche Abläufe übernehmen kann.

Über die Verbindung zu LocalAI können die verschiedenen Möglichkeiten mt einem KI-Modell – oder mit verschiedenen KI-Modellen – verknüpft werden, sodass alle generierten Daten auf unserem Server bleiben. Ein in der heutigen Zeit unschätzbarer Vorteil, wodurch der Nextcloud Assistent in diesem Sinne ein Alleinstellungsmerkmal aufweist – ganz im Sinne einer Digitalen Souveränität.

Wir werden in Kürze auf die Version 32 (Hub 25) upgraden, und die neuen Features testen. In diesem Blog werde ich in den kommenden Woche darüber schreiben.

Global Innovation Index 2025: Deutschland nicht mehr in den TOP 10

Quelle: Global Innovation Index 2025

Der aktuelle Global Innovation Index 2025 zeigt, dass Deutschland im Ranking nicht mehr zu den TOP 10 zählt (Abbildung). Im internationalen Vergleich rutscht Deutschland etwas ab. Im Global Innovation Index 2017 war Deutschland im Vergleich zu 2016 einen Platz nach oben gerutscht, und belegte immerhin Platz 9.

Schon 2010 hatte ich in einem Blogbeitrag etwas zynisch angemerkt, dass wir in Deutschland mehr Innovationspreise als wirkliche Innovationen haben.

Vergleichen wir uns in Deutschland mit anderen Ländern in der EU, oder mit den eigenen Innovations-Kennzahlen der vergangenen Jahre, sieht es dagegen immer noch recht gut aus. Es ist halt immer die Frage, welche Zahlen ich heranziehe, um die Innovationskraft eines Landes zu bewerten. Es ist eben – frei nach Einstein – alles relativ.

Ein wichtiges Kriterium in unseren Regionen ist das Europäische Paradox. Gemeint ist, dass wir in Europa recht viel Geld in die Forschung stecken, doch im Verhältnis dazu recht wenige Innovationen generieren. Siehe dazu Produkte und Dienstleistungen als Mehrwert für Kunden: Warum funktioniert das einfach nicht?

Doch was können wir tun, um diese Entwicklung zu korrigieren?

In Zeiten von Künstlicher Intelligenz beispielsweise sollte es darum gehen, die bisher nicht erfüllten Bedürfnisse von Menschen endlich in den Mittelpunkt zu stellen, und geeignete Produkte und Dienstleistungen auf den Markt zu bringen.

“There is still an invisible hand behind supply-side reform. Adam Smith argued that the invisible hand that drives markets is capital, while the invisible hand of supply that drives innovation is demand. Generally speaking, the “inconvenience” in the daily life of the people can be used as the traction of technological development. In the AI technology market, enterprises that see fundamental needs can have a large number of applications for their products” (Wu 2025).

UNESCO (2025): AI and the future of education

Ausschnitt von der Titelseite

Es ist deutlich zu erkennen, dass die Entwicklungen im Bereich der Künstlichen Intelligenz Auswirkungen auf den Bildungssektor haben. Die Frage ist nur, ob die sich daraus entstehenden Fragen nur aus der Perspektive von Tech-Unternehmen beantwortet werden sollten. Es ist meines Erachtens in diesem Zusammenhang gut, dass sich die UNESCO diesem Thema ausgewogen und unter einer globalen Perspektive angenommen hat.

UNESCO (2025): AI and the future of education. Disruptions, dilemmas and directions | LINK

Gleich im einleitenden Summary weist die UNESCO darauf hin, dass ein Drittel der Weltbevölkerung offline ist. Das wiederum hat Auswirkungen darauf, welches Wissen, welche Werte und welche Sprachen in den KI-Systemen, und somit auch in der KI-unterstützten Bildung, dominieren.

“Artificial intelligence (AI) is reshaping the way we learn, teach and make sense of the world around us, but it is doing so unequally. While one-third of humanity remains offline, access to the most cutting-edge AI models is reserved for those with subscriptions, infrastructure and linguistic advantage. These disparities not only restrict who can use AI, but also determine whose knowledge, values and languages dominate the systems that increasingly influence education. This anthology explores the philosophical, ethical and pedagogical dilemmas posed by disruptive influence of AI in education” (UNESCO 2025).

KI-Modelle: Von “One Size Fits All” über Variantenvielfalt in die Komplexitätsfalle?

In letzter Zeit gibt es immer mehr Meldungen, dass der Einsatz von Künstlicher Intelligenz in allen gesellschaftlichen Bereichen steigt. Doch nicht immer sind KI-Projekte erfolgreich und werden daher eingestellt – was bei neuen Technologien ja nicht ungewöhnlich ist. Siehe dazu beispielsweise Künstliche Intelligenz: 40% der Projekte zu Agentic AI werden wohl bis Ende 2027 eingestellt (Gartner).

Dennoch ist deutlich zu erkennen, dass es immer mehr Anbieter in allen möglichen Segmenten von Künstlicher Intelligenz – auch bei den Language Models – gibt. Wenn man sich alleine die Vielzahl der Modelle bei Hugging Face ansieht: Heute, am17.09.2025, stehen dort 2,092,823 Modelle zur Auswahl, und es werden jede Minute mehr. Das erinnert mich an die Diskussionen auf den verschiedenen (Welt-) Konferenzen zu Mass Customization and Personalization. Warum?

Large Language Models (LLM): One Size Fits All
Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Diese Einschätzung wird natürlich von den Tech-Unternehmen vertreten, die aktuell mit ihren Closed Source Models das große Geschäft machen, und auch für die Zukunft wittern. Die Argumentation ist, dass es nur eine Frage der Zeit ist, bis das jeweilige Large Language Model die noch fehlenden Features bereitstellt – bis hin zur großen Vision AGI: Artificial General Intelligence. Storytelling eben…

Small Language Models (SLM): Variantenvielfalt
In der Zwischenzeit wird immer klarer, dass kleine Modelle (SLM) viel ressourcenschonender, in speziellen Bereichen genauer, und auch wirtschaftlicher sein können. Siehe dazu Künstliche Intelligenz: Vorteile von Small Language Models (SLMs) und Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, ForbesLINK.

Komplexitätsfalle
Es wird deutlich, dass es nicht darum geht, noch mehr Möglichkeiten zu schaffen, sondern ein KI-System für eine Organisation passgenau zu etablieren und weiterzuentwickeln. Dabei sind erste Schritte schon zu erkennen: Beispielsweise werden AI-Router vorgeschlagen, die verschiedene Modelle kombinieren – ganz im Sinne eines sehr einfachen Konfigurators. Siehe dazu Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Mit Hilfe eines KI-Konfigurators könnte man sich der Komplexitätsfalle entziehen. Ein Konfigurator in einem definierten Lösungsraum (Fixed Solution Space) ist eben das zentrale Element von Mass Customization and Personalization.

Die Lösung könnte also sein, massenhaft individualisierte KI-Modelle und KI-Agents dezentralisiert für die Allgemeinheit zu schaffen. Am besten natürlich alles auf Open Source Basis – Open Source AI – und für alle in Repositories frei verfügbar. Auch dazu gibt es schon erste Ansätze, die sehr interessant sind. Siehe dazu beispielsweise (Mass) Personalized AI Agents für dezentralisierte KI-Modelle.

Genau diese Überlegungen erinnern – wie oben schon angedeutet – an die Hybride Wettbewerbsstrategie Mass Customization and Personalization. Die Entgrenzung des definierten Lösungsraum (Fixed Solution Space) hat dann weiter zu Open Innovation (Chesbrough und Eric von Hippel) geführt.

Deepfake Total: Audiofakes gratis erkennen – inkl. Trainingsspiel

Screenshot von der Website https://deepfake-total.com/

Durch die fast beliebige Verwendung von Künstlicher Intelligenz wird die Kreativität angeregt und Videos, Bilder und auch Audiodateien neu kombiniert. Dabei achten manche Einzelpersonen oder auch Unternehmen nicht immer so genau auf die Rechte anderer Menschen. Beispielsweise kursieren im Netz Audiodateien von Prominenten, die das gar nicht gesagt haben.

Auch als Privatperson kann es sein, dass die eigene Stimme als Audiodatei in KI-generierten Audiofiles/Podcasts benutzt wird – ohne dass ich es möchte. Die Frage ist nun: Wie kann ich solche Audiofakes erkennen? Das Fraunhofer Institut hat dazu eine Plattform entwickelt:

“Die Plattform Deepfake Total entwickelte Nicolas Müller mit seinem Team als öffentliches Erkennungstool für Audiofakes. Jeder kann dort verdächtige Audiospuren hochladen und von einer KI analysieren lassen. Im Gegensatz zu anderen kommerziellen Erkennungstools auf dem Markt ist die Fraunhofer-Plattform kostenlos – und in Deutschland gehostet. Ihr KI-Modell trainieren die Forschenden sowohl mit öffentlichen als auch selbst erstellten Datensätzen, die Beispiele originaler und gefälschter Audiospuren enthalten” (Fraunhofer-Magazin 2/2025).

Was mir besonders gefällt ist der Ansatz, dass dieses Angebot transparent, kostenlos und in Deutschland gehostet ist. Ein Trainingsspiel – für Audio und Video – führt in die Thematik ein und soll dafür sorgen, dass man selbst anfängt eigene Dateien hochzuladen. Probieren Sie es doch einfach einmal aus.

“Analyze suspicious audio files to detect deepfakes, and automatically share them with the security community” (Text auf der Startseite der Plattform).

Künstliche Intelligenz: Das Modell GRANITE in unsere LocalAI eingebunden

Screenshot von unserer LocalAI-Installation: Selected Model Granite 3.0

In dem Beitrag Künstliche Intelligenz: Würden Sie aus diesem Glas trinken? ging es um die Frage, ob man KI-Modellen vertrauen kann. Bei den Closed Source Models der Tech-Konzerne ist das kaum möglich, da die Modelle gar nicht, bzw. kaum transparent sind und nicht der Definition von Open Source AI entsprechen.

Wenn aber der erste Schritt zur Nutzung von Künstlicher Intelligenz Vertrauen sein sollte (Thomas et al. 2025), sollte man sich als Privatperson, als Organisation, bzw. als Verwaltung nach Alternativen umsehen.

Wie Sie als Leser unseres Blogs wissen, tendieren wir zu (wirklichen) Open Source AI Modellen, doch in dem Buch von Thomas et al. (2025) ist mir auch der Hinweis auf das von IBM veröffentlichte KI-Modell Granite aufgefallen. Die quelloffene Modell-Familie kann über Hugging Face, Watsonx.ai oder auch Ollama genutzt werden.

Das hat mich neugierig gemacht, da wir ja in unserer LocalAI Modelle dieser Art einbinden und testen können. Weiterhin haben wir ja auch Ollama auf unserem Server installiert, um mit Langflow KI-Agenten zu erstellen und zu testen.

Im Fokus der Granite-Modellreihe stehen Unternehmensanwendungen, wobei die kompakte Struktur der Granite-Modelle zu einer erhöhten Effizienz beitragen soll. Unternehmen können das jeweilige Modell auch anpassen, da alles über eine Apache 2.0-Lizenz zur Verfügung gestellt wird.

Wie Sie der Abbildung entnehmen können, haben wir Granite 3.0 -1b-a400m in unsere lokale KI (LocalAI) eingebunden. Das geht relativ einfach: Wir wählen aus den aktuell mehr als 1.000 Modellen das gewünschte Modell zunächst aus. Anschließend brauchen wir nur auf “Installieren” zu klicken, und das Modell steht in der Auswahl “Select a model” zur Verfügung.

Im unteren Fenster (Send a message) habe ich testweise “Stakeholder for the project Website” eingegeben. Dieser Text erscheint dann blau hinterlegt, und nach einer kurzen Zeit kommen dann schon die Ergebnisse, die in der Abbildung grün hinterlegt sind. Wie Sie am Balken am rechten Rand der Grafik sehen können, gibt es noch mehrere Stakeholder, die man sieht, wenn man nach unten scrollt.

Ich bin zwar gegenüber Granite etwas skeptisch, da es von IBM propagiert wird, und möglicherweise eher zu den Open Weighted Models zählt, doch scheint es interessant zu sein, wie sich Granite im Vergleich zu anderen Modellen auf unserer LocalAI-Installation schlägt.

Bei allen Tests, die wir mit den hinterlegten Modellen durchführen, bleiben die generierten Daten alle auf unserem Server.

LangFlow: Per Drag & Drop KI-Agenten auf dem eigenen Server entwickeln und testen

Screenshot von unserer LangFlow-Installation (Simple Agent)

In dem Beitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren wird erläutert, wie Modelle – abhängig von der Eingabe – so kombiniert werden können, dass ein qualitativ gutes Ergebnis herauskommt.

Der nächste Schritt wäre, beliebig viele KI-Modelle in einem Framework zu entwickeln und zu koordinieren. Die Plattform LangChain bietet so eine professionelle, und somit auch anspruchswolle Möglichkeit.

“LangChain is an incredibly valuable tool for linking up chains of models and defining steps for how an output from a model should be handled before being sent to a different model (or often, the same model with a different prompt) for a new step in a workflow” (Thomas et al. 2025).

Wenn es etwas einfacher sein soll, bietet sich LangFlow an, bei dem mit einfachen Mitteln per Drag & Drop KI-Agenten in Zusammenspiel mit verschiedenen Modellen konfiguriert werden können.

Wir haben LangFlow auf unserem Server installiert (Open Source) und können nun KI-Agenten für verschiedene Anwendungen entwickeln und testen. Die Abbildung zeigt einen Screenshot der Startseite, wenn man einen einfachen Agenten entwickeln möchte. Auf der linken Seite können sehr viele Optionen ausgewählt werden, in dem grau hinterlegten Bereich werden diese dann per Drag & Drop zusammengestellt. Die farbigen Verbindungslinien zeigen, welche Optionen miteinander kombiniert werden können. Abschließend kann im anwählbaren Playground das Ergebnis beurteilt werden.

Dabei bietet LangfFlow auch die Möglichkeit, eigene Daten, oder auch externe Datenquellen einzubinden – alles per Drag & Drop. Weiterhin haben wir den Vorteil, dass alle generierten Daten auf unserem Server bleiben.