Künstliche Intelligenz: Mit der OLMo2 Modell-Familie offene Forschung an Sprachmodellen vorantreiben

Eigener Screenshot: olmo2 istalliert in Ollama auf unserem Server

Auf unseren Servern haben wir LocalAI installiert, das wir über den Nextcloud Assistenten in allen Nextcloud-Anwendungen nutzen können. Dabei bleiben alle Daten auf unserem Server.

Weiterhin arbeiten wir an KI-Agenten, die wir in Langflow entwickeln. Dazu greifen wir auf Modelle zurück, die wir in Ollama installiert haben. Auch Langflow und Ollama sind auf unserem Servern installiert, sodass auch hier alle Daten bei uns bleiben.

In Ollama haben wir nun ein weiteres Modell installiert, das aus einer ganzen OLMo2-Familie stammt. In der Abbildung ist zu erkennen, dass wir OLMo2:latest installiert haben. Wir können nun auch das Modell in Ollama testen und dann später – wie schon angesprochen – in Langflow in KI-Agenten einbinden.

Alle Modelle, die wir auf unseren Servern installieren, sollen den Anforderungen einer Open Source AI entsprechen. Manchmal nutzen wir auch Open Weights Models, um zu Testzwecken die Leistungsfähigkeit verschiedener Modelle zu vergleichen. Siehe dazu Das Kontinuum zwischen Closed Source AI und Open Source AI.

Das Modell OLMo2:latest ist ein Modell, aus einer Modell-Familie, dass im wissenschaftlichen Umfeld / Forschung eingesetzt werden kann.

“OLMo is Ai2’s first Open Language Model framework, intentionally designed to advance AI through open research and to empower academics and researchers to study the science of language models collectively” (Ai2-Website).

An diesem Beispiel zeigt sich, dass es einen Trend gibt: Weg von einem Modell, das alles kann – one size fits all. In Zukunft werden immer mehr Modelle gefragt und genutzt werden. die sich auf eine bestimmte berufliche Domäne (Forschung, Wissenschaft etc.) fokussieren und dadurch bessere Ergebnisse erzielen und weniger Ressourcen benötigen.

Siehe dazu auch KI-Modelle: Von “One Size Fits All” über Variantenvielfalt in die Komplexitätsfalle?

Künstliche Intelligenz: Das Modell GRANITE in unsere LocalAI eingebunden

Screenshot von unserer LocalAI-Installation: Selected Model Granite 3.0

In dem Beitrag Künstliche Intelligenz: Würden Sie aus diesem Glas trinken? ging es um die Frage, ob man KI-Modellen vertrauen kann. Bei den Closed Source Models der Tech-Konzerne ist das kaum möglich, da die Modelle gar nicht, bzw. kaum transparent sind und nicht der Definition von Open Source AI entsprechen.

Wenn aber der erste Schritt zur Nutzung von Künstlicher Intelligenz Vertrauen sein sollte (Thomas et al. 2025), sollte man sich als Privatperson, als Organisation, bzw. als Verwaltung nach Alternativen umsehen.

Wie Sie als Leser unseres Blogs wissen, tendieren wir zu (wirklichen) Open Source AI Modellen, doch in dem Buch von Thomas et al. (2025) ist mir auch der Hinweis auf das von IBM veröffentlichte KI-Modell Granite aufgefallen. Die quelloffene Modell-Familie kann über Hugging Face, Watsonx.ai oder auch Ollama genutzt werden.

Das hat mich neugierig gemacht, da wir ja in unserer LocalAI Modelle dieser Art einbinden und testen können. Weiterhin haben wir ja auch Ollama auf unserem Server installiert, um mit Langflow KI-Agenten zu erstellen und zu testen.

Im Fokus der Granite-Modellreihe stehen Unternehmensanwendungen, wobei die kompakte Struktur der Granite-Modelle zu einer erhöhten Effizienz beitragen soll. Unternehmen können das jeweilige Modell auch anpassen, da alles über eine Apache 2.0-Lizenz zur Verfügung gestellt wird.

Wie Sie der Abbildung entnehmen können, haben wir Granite 3.0 -1b-a400m in unsere lokale KI (LocalAI) eingebunden. Das geht relativ einfach: Wir wählen aus den aktuell mehr als 1.000 Modellen das gewünschte Modell zunächst aus. Anschließend brauchen wir nur auf “Installieren” zu klicken, und das Modell steht in der Auswahl “Select a model” zur Verfügung.

Im unteren Fenster (Send a message) habe ich testweise “Stakeholder for the project Website” eingegeben. Dieser Text erscheint dann blau hinterlegt, und nach einer kurzen Zeit kommen dann schon die Ergebnisse, die in der Abbildung grün hinterlegt sind. Wie Sie am Balken am rechten Rand der Grafik sehen können, gibt es noch mehrere Stakeholder, die man sieht, wenn man nach unten scrollt.

Ich bin zwar gegenüber Granite etwas skeptisch, da es von IBM propagiert wird, und möglicherweise eher zu den Open Weighted Models zählt, doch scheint es interessant zu sein, wie sich Granite im Vergleich zu anderen Modellen auf unserer LocalAI-Installation schlägt.

Bei allen Tests, die wir mit den hinterlegten Modellen durchführen, bleiben die generierten Daten alle auf unserem Server.

LangFlow: Per Drag & Drop KI-Agenten auf dem eigenen Server entwickeln und testen

Screenshot von unserer LangFlow-Installation (Simple Agent)

In dem Beitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren wird erläutert, wie Modelle – abhängig von der Eingabe – so kombiniert werden können, dass ein qualitativ gutes Ergebnis herauskommt.

Der nächste Schritt wäre, beliebig viele KI-Modelle in einem Framework zu entwickeln und zu koordinieren. Die Plattform LangChain bietet so eine professionelle, und somit auch anspruchswolle Möglichkeit.

“LangChain is an incredibly valuable tool for linking up chains of models and defining steps for how an output from a model should be handled before being sent to a different model (or often, the same model with a different prompt) for a new step in a workflow” (Thomas et al. 2025).

Wenn es etwas einfacher sein soll, bietet sich LangFlow an, bei dem mit einfachen Mitteln per Drag & Drop KI-Agenten in Zusammenspiel mit verschiedenen Modellen konfiguriert werden können.

Wir haben LangFlow auf unserem Server installiert (Open Source) und können nun KI-Agenten für verschiedene Anwendungen entwickeln und testen. Die Abbildung zeigt einen Screenshot der Startseite, wenn man einen einfachen Agenten entwickeln möchte. Auf der linken Seite können sehr viele Optionen ausgewählt werden, in dem grau hinterlegten Bereich werden diese dann per Drag & Drop zusammengestellt. Die farbigen Verbindungslinien zeigen, welche Optionen miteinander kombiniert werden können. Abschließend kann im anwählbaren Playground das Ergebnis beurteilt werden.

Dabei bietet LangfFlow auch die Möglichkeit, eigene Daten, oder auch externe Datenquellen einzubinden – alles per Drag & Drop. Weiterhin haben wir den Vorteil, dass alle generierten Daten auf unserem Server bleiben.

Digitale Souveränität: Was macht ihr denn so mit eurer Nextcloud? Antwort: Immer mehr!

Screenshot unserer Nextcloud-Startseite

Digitale Abhängigkeit kann für Personen, Organisationen oder ganze Gesellschaften kritisch sein. In Zeiten der Trump-Administration und der massiven Marktbeherrschung bei Software, Cloud-Anwendungen und Künstlicher Intelligenz durch US-amerikanische Tech-Konzerne wird es Zeit, auf allen Ebenen über Digitale Souveränität nachzudenken, und entsprechend zu handeln.

Zum Beispiel mit: Sovereign Workplace: Der unabhängige Arbeitsplatz auf integrierter Open Source Basis. Weiterhin wird vielen Verwaltungen in der Zwischenzeit klar, wie viel Geld an Rahmenverträgen, Lizenzen und Software an Big-Tech gezahlt werden muss. Es sind 13,6 Milliarden Euro pro Jahr (Quelle: Golem 04.07.2025).

In der Zwischenzeit gibt es viele Open Source Anwendungen die als Alternativen zur Verfügung stehen. Das dänische Digitalministerium ersetzt beispielsweise Microsoft Office durch Libre Office, Schleswig-Holstein setzt in der Verwaltung auf Nextcloud usw. usw.

Wir haben diese Entwicklung schon vor Jahren kommen sehen, und uns langsam aber sicher ein eigenes Open-Source-Ökosystem zusammengestellt, das wir immer stärker nutzen und ausbauen – Schritt für Schritt.

(1) Zunächst haben wir Nextcloud auf unseren Servern installiert. Damit konnten wir die bekannten Microsoft-Anwendungen, inkl. MS-Teams (jetzt mit Nextcloud Talk), Whiteboard, usw. ersetzen. Dateien können auch kollaborativ, also gemeinsam, bearbeitet werden. Siehe dazu beispielsweise auch Google Drive im Vergleich zu Nextcloud. Alle Möglichkeiten der Nextcloud finden Sie unter https://nextcloud.com/.

(2) Anschließend haben wir OpenProject auf unseren Servern installiert und mit unserer Nextcloud verknüpft. Wir können damit Plangetriebenes Projektmanagement, Hybrides und Agiles Projektmanagement abbilden. Die Integration mit unserer Nextcloud bietet die Möglichkeit, aus OpenProject heraus die komplette Dateiverwaltung in Nextcloud zu verwalten: Projektarbeit mit Nextcloud: Dateien kollaborativ organisieren und bearbeiten.

(3) Danach haben wir den Nextcloud-Assistenten integriert, sodass wir in jeder Nextcloud-Anwendung den Assistenten mit seinen verschiedenen Funktionen nutzen können; inkl. eines Chats mit hinterlegter lokaler Künstlichen Intelligenz – LocalAI (Siehe Punkt 5).

(4) Mit Nextcloud Flow können wir Abläufe automatisieren. Zunächst natürlich Routineabläufe, und wenn es komplexer wird mit KI-Agenten (Siehe Punkt 6).

(5) Eine weitere wichtige Ergänzung war dann LocalAI, das uns lokale KI-Anwendungen auf unserem Server ermöglicht – eingebunden in den Nextcloud-Assistenten (Siehe Punkt 3) Alle Daten bleiben auch hier auf unseren Servern.

(6) Aktuell arbeiten und testen wir KI-Agenten auf Open-Source-Basis. Dabei verknüpfen wir über Ollama eine ausgewählte Trainingsdatenbank (Large Language Model oder Small Language Model – alles natürlich Open Source AI) mit unseren eigenen Daten, die in unserer Nextcloud zur Verfügung stehen. Dafür verwenden wir aktuell Langflow, das auch auf unserem Servern installiert ist – auch diese Daten bleiben alle bei uns.

(…..) und das ist noch lange nicht das Ende der Möglichkeiten. Sprechen Sie uns gerne an, wenn Sie zu den genannten Punkten Fragen haben.

Open Source KI-Agenten: Update auf Langflow 1.4

Eigener Screenshot

Die Abhängigkeit von amerikanischen oder chinesichen KI-Anbietern ist zu einem großen Problem in Europa geworden, da wir in Europa einen anderen Ansatz im Umgang mit Künstlicher Intelligenz haben. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Um die eigene Digitale Souveränität wiederzuerlangen, setzen immer mehr Organisationen auf Open Source Anwendungen. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Wir haben beispielsweise im ersten Schritt Nextcloud als Alternative zu den bekannten Microsoft-Produkten auf einem eigenen Server installiert, und weitere Bausteine wie Open Project, Moodle usw. integriert. In Nextcloud ist ein Assistent integriert, über den wir auch KI-Modelle lokal (LocalAI) auf unserem Server nutzen können. Siehe dazu auch LocalAI: Aktuell können wir aus 713 Modellen auswählen.

Eine professionelle Möglichkeit, KI-Agenten zu nutzen – also Prozesse mit internen/externen Daten und KI-Modellen zu kombinieren – haben wir mit Langflow (Open Source) auf unserem Server installiert. Siehe dazu AI Agents: Langflow (Open Source) auf unserem Server installiert. Mit der neuen Version 1.4 stehen uns nun stark erweiterte Funktionen zur Verfügung. In dem Beitrag Langflow 1.4: Organize Workflows + Connect with MCP werden diese ausführlich erläutert:

This release introduces Projects, a new way to organize, modularize, and expose your AI workflows.

Beyond organization, Projects are now also MCP servers! MCP (Model Context Protocol) is an open standard from Anthropic designed to establish seamless interoperability between LLM applications and external tools, APIs, or data sources.

In der nächsten Zeit werden wir verschiedene Anwendungen für KI-Agenten testen und unsere Erafhrungen hier mitteilen.

RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen

Gerade Kleine und Mittlere Unternehmen (KMU) können es sich oftmals nicht leisten, eigene Trainingsmodelle (Large Language Models) zu entwickeln. KMU greifen daher gerne auf bekannte Modelle wie ChatGPT usw. zurück.

Es wird allerdings gerade bei innovativen KMU immer klarer, dass es gefährlich sein kann, eigene Datenbestände in z.B. ChatGPT einzugeben. Da diese Modelle nicht transparent sind ist unklar, was mit den eigenen Daten passiert.

Eine Möglichkeit aus dem Dilemma herauszukommen ist, RAG (Retrieval-Augmented Generation) zu nutzen – also ein Basismodell mit einer internen Wissensbasis zu verknüpfen:

Retrieval-Augmented Generation (RAG): Bei RAG wird ein Basismodell wie GPT-4, Jamba oder LaMDA mit einer internen Wissensbasis verknüpft. Dabei kann es sich um strukturierte Informationen aus einer Datenbank, aber auch um unstrukturierte Daten wie E-Mails, technische Dokumente, Whitepaper oder Marketingunterlagen handeln. Das Foundation Model kombiniert die Informationen mit seiner eigenen Datenbasis und kann so Antworten liefern, die besser auf die Anforderungen des Unternehmens zugeschnitten sind” (heise business services (2024): KI für KMU: Große Sprachmodelle erfolgreich einsetzen – mit Finetuning, RAG & Co.).

Wir gehen noch einen Schritt weiter, indem wir (1) einerseits LocalAI und Open Source AI mit einem Assistenten nutzen, und (2) darüber hinaus mit Hilfe von Ollama und Langflow eigene KI-Agenten entwickeln, die auf Basis von Open Source AI Modellen und beliebig konfigurierbaren eigenen Input einen gewünschten Output generieren In dem gesamten Prozess bleiben alle Daten auf unserem Server.

Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Künstliche Intelligenz (KI oder AI: Artificial Intelligence) einzusetzen ist heute in vielen Organisationen schon Standard. Dabei nutzen immer noch viele die von den kommerziellen Anbietern angebotenen KI-Systeme. Dass das kritisch sein kann, habe ich schon in vielen Blogbeiträgen erläutert.

Wir wollen einen anderen Weg, aufzeigen, der die Digitale Souveränität für Organisationen und Privatpersonen ermöglicht: Open Source AI und eine Open Source Kollaborationsplattform. Siehe dazu Von der digitalen Abhängigkeit zur digitalen Souveränität.

Im ersten Schritt haben wir unsere NEXTCLOUD über einen ASSISTENTEN mit Künstlicher Intelligenz verknüpft, wobei alle Daten auf unserem Server bleiben. Siehe LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Im zweiten Schritt haben wir für die Entwicklung von AI-Agenten Langflow (Open Source) auf unserem Server installiert. Dabei ist es möglich, ChatGPT von OpenAI, oder über Ollama sehr viele unterschiedliche Open Source Modelle zu nutzen. Wir wollen natürlich den zweiten Weg gehen und haben daher Ollama auf unserem Server installiert.

Ollama Startseite auf unserem Server: Eigener Screenshot

In der Abbildung ist zu sehen, dass wir für den ersten Test zunächst vier Modelle installiert haben, inkl. DeepSeek-R1 und LLama 3.2. Demnächst werden wir noch weitere Modelle installieren, die wir dann in Langflow integrieren, um AI-Agenten zu entwickeln. In den kommenden Wochen werden wir über die Erfahrungen berichten.

AI Agents: Langflow (Open Source) auf unserem Server installiert

Das nächste große Ding in der KI-Entwicklung ist der Einsatz von KI-Agenten (AI Agents). Wie schon in vielen Blogbeiträgen erwähnt, gehen wir auch hier den Weg dafür Open Source zu verwenden. Bei der Suche nach entsprechenden Möglichkeiten bin ich recht schnell auf Langflow gestoßen. Die Vorteile lagen aus meiner Sicht auf der Hand:

(1) Komponenten können per Drag&Drop zusammengestellt werden.
(2) Langflow ist Open Source und kann auf unserem eigenen Server installiert werden. Alle Daten bleiben somit auf unserem Server.

Die Abbildung zeigt einen Screenshot von Langflow – installiert auf unserem Server.

Auf der linken Seite der Abbildung sind viele verschiedene Komponenten zu sehen, die in den grau hinterlegten Bereich hineingezogen werden können. Per Drag&Drop können INPUT-Komponenten und OUTPUT-Format für ein KI-Modell zusammengestellt – konfiguriert – werden. Wie weiterhin zu erkennen, ist standardmäßig OpenAI als KI-Modell hinterlegt. Für die Nutzung wird der entsprechende API-Schlüssel eingegeben.

Mein Anspruch an KI-Agenten ist allerdings, dass ich nicht OpenAI mit ChatGPT nutzen kann, sondern auf unserem Server verfügbare Trainingsdaten von Large Language Models (LLM) oder Small Language Models (SML), die selbst auch Open Source AI sind. Genau diesen Knackpunkt haben wir auch gelöst. Weitere Informationen dazu gibt es in einem der nächsten Blogbeiträge. Siehe in der Zwischenzeit auch

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Digitale Souveränität: Europa, USA und China im Vergleich