Veröffentlicht am

Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Um digital souveräner zu werden, haben wir seit einiger Zeit Nextcloud auf einem eigenen Server installiert – aktuell in der Version 32. Das ist natürlich erst der erste Schritt, auf den nun weitere folgen – gerade wenn es um Künstliche Intelligenz geht.

Damit wir auch bei der Nutzung von Künstlicher Intelligenz digital souverän bleiben, haben wir zusätzlich LocalAI installiert. Dort ist es möglich, eine Vielzahl von Modellen zu testen und auszuwählen. In der folgenden Abbildung ist zu sehen, dass wir das KI-Modell llama-3.2-3B-instruct:q4_k_m für einen Chat ausgewählt haben. In der Zeile “Send a massage” wurde der Prompt “Nenne wichtige Schritte im Innovationsprozess” eingegeben. Der Text wird anschließend blau hinterlegt angezeigt. In dem grünen Feld ist ein Teil der Antwort des KI-Modells zu sehen.

LocalAI auf unserem Server: Ein Modell für den Chat ausgewählt

Im nächsten Schritt geht es darum, das gleiche KI-Modell im Nextcloud Assistant zu hinterlegen. Der folgende Screenshot zeigt das Feld (rot hervorgehoben). An dieser Stelle werden alle in unserer LocalAI hinterlegten Modelle zur Auswahl angezeigt, sodass wir durchaus variieren könnten. Ähnliche Einstellungen gibt es auch für andere Funktionen des Nextcloud Assistant.

Screenshot: Auswahl des Modells für den Nextcloud Assistenten in unserer Nextcloud – auf unserem Server

Abschließend wollen wir natürlich auch zeigen, wie die Nutzung des hinterlegten KI-Modells in dem schon angesprochenen Nextcloud Assistant aussieht. Die folgende Abbildung zeigt den Nextcloud Assistant in unserer Nextcloud mit seinen verschiedenen Möglichkeiten – eine davon ist Chat mit KI. Hier haben wir den gleichen Prompt eingegeben, den wir schon beim Test auf LocalAI verwendet hatten (Siehe oben).

Screenshot von dem Nextcloud Assistant mit der Funktion Chat mit KI und der Antwort auf den eigegebenen Prompt

Der Prompt ist auf der linken Seite zu erkennen, die Antwort des KI-Modells (llama-3.2-3B-instruct:q4_k_m) ist rechts daneben wieder auszugsweise zu sehen. Weitere “Unterhaltungen” können erstellt und bearbeitet werden.

Das Zusammenspiel der einzelnen Komponenten funktioniert gut. Obwohl wir noch keine speziellen KI-Server hinterlegt haben, sind die Antwortzeiten akzeptabel. Unser Ziel ist es, mit wenig Aufwand KI-Leistungen in Nextcloud zu integrieren. Dabei spielen auch kleine, spezielle KI-Modelle eine Rolle, die wenig Rechenkapazität benötigen.

Alles natürlich Open Source, wobei alle Daten auf unseren Servern bleiben.

Wir werden nun immer mehr kleine, mittlere und große KI-Modelle und Funktionen im Nextcloud Assistant testen. Es wird spanned sein zu sehen, wie dynamisch diese Entwicklungen von der Open Source Community weiterentwickelt werden.

Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Digitale Souveränität: Verschiedene Open Source AI-Modelle ausprobieren

Screenshot AI2 Playground

AI2 ist eine Non-Profit Organisation, die Künstliche Intelligenz für die vielfältigen gesellschaftlichen Herausforderungen entwickelt. Das 2014 in Seattle gegründete Institut stellt dabei auch verschiedene Open Source KI-Modelle zur Verfügung – u.a. auch OLMo2.

“OLMo 2 is a family of fully-open language models, developed start-to-finish with open and accessible training data, open-source training code, reproducible training recipes, transparent evaluations, intermediate checkpoints, and more” (Quelle).

Wenn man die von AI2 veröffentlichten KI-Modelle einmal testen möchte, kann man das nun in einem dafür eingerichteten Playground machen. Wie in der Abbildung zu erkennen, können Sie einzelne Modelle auswählen, und mit einem Prompt testen. Der direkte Vergleich der Ergebnisse zeigt Ihnen, wie sich die Modelle voneinander unterscheiden.

Siehe dazu auch Künstliche Intelligenz: Mit der OLMo2 Modell-Familie offene Forschung an Sprachmodellen vorantreiben.

Veröffentlicht am

Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI

Eigener Screenshot: Installation von Open Euro LLM 9B Instruct in unserer LocalAI

Es ist schon erstaunlich, wie dynamisch sich länderspezifische (Polen, Spanien, Schweden usw.) Large Language Models (LLMs) und europäische LLMs entwickeln. In 2024 wurde Teuken 7B veröffentlicht, über das wir in unserem Blog auch berichtet hatten. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data. Weiterhin haben wir damals auch schon Teuken 7B in unsere LocalAI integriert.

Nun also Open EuroLLM, ein Large language Model made in Europe built to support all official 24 EU languages. Die generierten Modelle sind Multimodal, Open Source, High Performance und eben Multilingual. Interessant dabei ist, dass damit Innovation angestoßen werden sollen.

Das große Modell eurollm-9b-instruct haben wir in unserer LocalAI installiert. Die Abbildung zeigt den Installationsprozess. Ich bin sehr gespannt darauf, wie sich das Modell in unserer LocalAI im Vergleich zu anderen Modellen schlägt. Möglicherweise werden wir auch noch einmal das kleine Modell 1.7B installieren, das auf Huggingface verfügbar ist.

Alle Modelle, die wir in unserer LocalAI installieren, können wir auch je nach Anwendung in unserer Nextcloud über den Nextcloud Assistenten und der Funktion “Chat mit KI” nutzen. Dabei bleiben alle generierten Daten auf unserem Server – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Collective App – eine Art Wiki in unserer Nextcloud

Eigener Screenshot von unserer Nextcloud mit der App “Collective”

Unsere Nextcloud (Open Source) ist ein zentrales Element auf dem Weg zur Digitalen Souveränität. Dazu gehören nicht nur Möglichkeiten, LocalAI oder auch KI-Agenten zu nutzen, sondern auch Anwendungen (Apps), die wir im Tagesgeschäft benötigen.

Zum Beispiel haben wir die App Collective installiert und aktiviert. In der Abbildung ist ein Screenshot von einer angelegten Startseite zum Thema “Agentic AI Company” zu sehen.

Zu diesem Bereich kann ich nun verschiedene Teilnehmer zuordnen/einladen. Dabei können alle die jeweiligen Seiten wie in einem Wiki kollaborativ bearbeiten. Diese Möglichkeit geht über die reine Bereitstellung eines gemeinsamen Ordners hinaus und unterstützt die gemeinsame Entwicklung von (expliziten) Wissen.

Wichtig dabei ist, dass alle Daten, die hier gemeinsam geteilt und bearbeitet werden, auf unserem Server bleiben.

Natürlich können auch andere Wiki-Apps (Open Source) in die Nextcloud eingebunden werden. Jeder kann somit seine Nextcloud so konfigurieren, wie er möchte.

Veröffentlicht am

Künstliche Intelligenz: Mit der OLMo2 Modell-Familie offene Forschung an Sprachmodellen vorantreiben

Eigener Screenshot: olmo2 istalliert in Ollama auf unserem Server

Auf unseren Servern haben wir LocalAI installiert, das wir über den Nextcloud Assistenten in allen Nextcloud-Anwendungen nutzen können. Dabei bleiben alle Daten auf unserem Server.

Weiterhin arbeiten wir an KI-Agenten, die wir in Langflow entwickeln. Dazu greifen wir auf Modelle zurück, die wir in Ollama installiert haben. Auch Langflow und Ollama sind auf unserem Servern installiert, sodass auch hier alle Daten bei uns bleiben.

In Ollama haben wir nun ein weiteres Modell installiert, das aus einer ganzen OLMo2-Familie stammt. In der Abbildung ist zu erkennen, dass wir OLMo2:latest installiert haben. Wir können nun auch das Modell in Ollama testen und dann später – wie schon angesprochen – in Langflow in KI-Agenten einbinden.

Alle Modelle, die wir auf unseren Servern installieren, sollen den Anforderungen einer Open Source AI entsprechen. Manchmal nutzen wir auch Open Weights Models, um zu Testzwecken die Leistungsfähigkeit verschiedener Modelle zu vergleichen. Siehe dazu Das Kontinuum zwischen Closed Source AI und Open Source AI.

Das Modell OLMo2:latest ist ein Modell, aus einer Modell-Familie, dass im wissenschaftlichen Umfeld / Forschung eingesetzt werden kann.

“OLMo is Ai2’s first Open Language Model framework, intentionally designed to advance AI through open research and to empower academics and researchers to study the science of language models collectively” (Ai2-Website).

An diesem Beispiel zeigt sich, dass es einen Trend gibt: Weg von einem Modell, das alles kann – one size fits all. In Zukunft werden immer mehr Modelle gefragt und genutzt werden. die sich auf eine bestimmte berufliche Domäne (Forschung, Wissenschaft etc.) fokussieren und dadurch bessere Ergebnisse erzielen und weniger Ressourcen benötigen.

Siehe dazu auch KI-Modelle: Von “One Size Fits All” über Variantenvielfalt in die Komplexitätsfalle?

Veröffentlicht am

Künstliche Intelligenz: Das Modell GRANITE in unsere LocalAI eingebunden

Screenshot von unserer LocalAI-Installation: Selected Model Granite 3.0

In dem Beitrag Künstliche Intelligenz: Würden Sie aus diesem Glas trinken? ging es um die Frage, ob man KI-Modellen vertrauen kann. Bei den Closed Source Models der Tech-Konzerne ist das kaum möglich, da die Modelle gar nicht, bzw. kaum transparent sind und nicht der Definition von Open Source AI entsprechen.

Wenn aber der erste Schritt zur Nutzung von Künstlicher Intelligenz Vertrauen sein sollte (Thomas et al. 2025), sollte man sich als Privatperson, als Organisation, bzw. als Verwaltung nach Alternativen umsehen.

Wie Sie als Leser unseres Blogs wissen, tendieren wir zu (wirklichen) Open Source AI Modellen, doch in dem Buch von Thomas et al. (2025) ist mir auch der Hinweis auf das von IBM veröffentlichte KI-Modell Granite aufgefallen. Die quelloffene Modell-Familie kann über Hugging Face, Watsonx.ai oder auch Ollama genutzt werden.

Das hat mich neugierig gemacht, da wir ja in unserer LocalAI Modelle dieser Art einbinden und testen können. Weiterhin haben wir ja auch Ollama auf unserem Server installiert, um mit Langflow KI-Agenten zu erstellen und zu testen.

Im Fokus der Granite-Modellreihe stehen Unternehmensanwendungen, wobei die kompakte Struktur der Granite-Modelle zu einer erhöhten Effizienz beitragen soll. Unternehmen können das jeweilige Modell auch anpassen, da alles über eine Apache 2.0-Lizenz zur Verfügung gestellt wird.

Wie Sie der Abbildung entnehmen können, haben wir Granite 3.0 -1b-a400m in unsere lokale KI (LocalAI) eingebunden. Das geht relativ einfach: Wir wählen aus den aktuell mehr als 1.000 Modellen das gewünschte Modell zunächst aus. Anschließend brauchen wir nur auf “Installieren” zu klicken, und das Modell steht in der Auswahl “Select a model” zur Verfügung.

Im unteren Fenster (Send a message) habe ich testweise “Stakeholder for the project Website” eingegeben. Dieser Text erscheint dann blau hinterlegt, und nach einer kurzen Zeit kommen dann schon die Ergebnisse, die in der Abbildung grün hinterlegt sind. Wie Sie am Balken am rechten Rand der Grafik sehen können, gibt es noch mehrere Stakeholder, die man sieht, wenn man nach unten scrollt.

Ich bin zwar gegenüber Granite etwas skeptisch, da es von IBM propagiert wird, und möglicherweise eher zu den Open Weighted Models zählt, doch scheint es interessant zu sein, wie sich Granite im Vergleich zu anderen Modellen auf unserer LocalAI-Installation schlägt.

Bei allen Tests, die wir mit den hinterlegten Modellen durchführen, bleiben die generierten Daten alle auf unserem Server.

Veröffentlicht am

LangFlow: Per Drag & Drop KI-Agenten auf dem eigenen Server entwickeln und testen

Screenshot von unserer LangFlow-Installation (Simple Agent)

In dem Beitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren wird erläutert, wie Modelle – abhängig von der Eingabe – so kombiniert werden können, dass ein qualitativ gutes Ergebnis herauskommt.

Der nächste Schritt wäre, beliebig viele KI-Modelle in einem Framework zu entwickeln und zu koordinieren. Die Plattform LangChain bietet so eine professionelle, und somit auch anspruchswolle Möglichkeit.

“LangChain is an incredibly valuable tool for linking up chains of models and defining steps for how an output from a model should be handled before being sent to a different model (or often, the same model with a different prompt) for a new step in a workflow” (Thomas et al. 2025).

Wenn es etwas einfacher sein soll, bietet sich LangFlow an, bei dem mit einfachen Mitteln per Drag & Drop KI-Agenten in Zusammenspiel mit verschiedenen Modellen konfiguriert werden können.

Wir haben LangFlow auf unserem Server installiert (Open Source) und können nun KI-Agenten für verschiedene Anwendungen entwickeln und testen. Die Abbildung zeigt einen Screenshot der Startseite, wenn man einen einfachen Agenten entwickeln möchte. Auf der linken Seite können sehr viele Optionen ausgewählt werden, in dem grau hinterlegten Bereich werden diese dann per Drag & Drop zusammengestellt. Die farbigen Verbindungslinien zeigen, welche Optionen miteinander kombiniert werden können. Abschließend kann im anwählbaren Playground das Ergebnis beurteilt werden.

Dabei bietet LangfFlow auch die Möglichkeit, eigene Daten, oder auch externe Datenquellen einzubinden – alles per Drag & Drop. Weiterhin haben wir den Vorteil, dass alle generierten Daten auf unserem Server bleiben.

Veröffentlicht am

(Mass) Personalized AI Agents für dezentralisierte KI-Modelle

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Es wird von Tag zu Tag deutlicher: Mit der zunehmenden Verbreitung von Künstlicher Intelligenz (AI: Artificial Intelligence) kommen die zentralen, großen KI-Modelle (Large Language Models) mit ihrem Mangel an Transparenz und ihrem “laxen” Umgang mit dem Urheberrecht oder auch mit dem Datenschutz, an Grenzen.

Einzelne Personen, Organisationen und auch Öffentliche Verwaltungen halten ihre Daten entsprechend zurück, wodurch Kooperation, Kollaboration und letztendlich auch Innovation behindert wird. Der Trend von den LLM (Large Language Models), zu Small Language Models (SLM), zu KI-Agenten, zusammen mit dem Wunsch vieler auch die eigenen Daten – und damit die eigene Expertise – für KI-Anwendungen zu nutzen, führt zu immer individuelleren, customized, personalized Modellen und letztendlich zu Personalized AI-Agents.

“Personal agents: Recent progress in foundation models is enabling personalized AI agents (assistants, co-pilots, etc.). These agents require secure access to private user data, and a comprehensive understanding of preferences. Scaling such a system to population levels requires orchestrating billions of agents. A decentralized framework is needed to achieve this without creating a surveillance state” (Singh et al. 2024).

Forscher am Massachusetts Institute of Technology (MIT) haben diese Entwicklungen systematisch analysiert und sind zu dem Schluss gekommen, dass es erforderlich ist, Künstliche Intelligenz zu dezentralisieren: Decentralized AI.

Mein Wunsch wäre es in dem Zusammenhang, dass alle Anwendungen (Apps, Tools etc.) einzelnen Personen und Organisationen als Open Source zur Verfügung stehen, ganz im Sinne von Mass Personalization – nur dass Mass Personalization für KI-Agenten nicht von Unternehmen ausgeht und auf den Konsumenten ausgerichtet ist! Das hätte eine sehr starke Dynamik von Innovationen zur Folge, die Bottom Up erfolgen und die Bedürfnisse der Menschen stärker berücksichtigen.

Veröffentlicht am

Künstliche Intelligenz: Halluzinationen und der Bullshit-Faktor – eine Art Künstliche Dummheit?

Wenn es um Menschliche Intelligenz geht, sprechen wir auch oft über die scheinbare Menschliche Dummheit. In meinen Blogbeiträgen Reden wir über Dummheit und Steckt hinter der Künstlichen Intelligenz keine echte Intelligenz? Wie ist das zu verstehen? bin ich auf das Thema eingegangen. Weiterhin finden sich in der Rezension Ina Rösing: Intelligenz und Dummheit weitere interessante Anmerkungen.

Im Zusammenhang mit Künstlicher Intelligenz könnte man natürlich auch über eine Art Künstliche Dummheit nachdenken. Wie schon länger bekannt, stellen beispielsweise Halluzinationen und falsche Antworten ein nicht zu vernachlässigendes Phänomen dar. Darüber hinaus gibt es allerdings auch noch eine Art Bullshit-Faktor. Es geht dabei um die Missachtung der Wahrheit in großen Sprachmodellen. Genau diesen Aspekt haben sich verschiedene Forscher der Princeton University einmal genauer angesehen und ein interessantes Paper dazu veröffentlicht:

Liang et al. (2025): Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models | PDF

Es stellt sich hier natürlich die Frage, wie sich Halluzination und der genannte Bullshit-Faktor unterscheiden. Dazu habe ich folgendes gefunden:

“Daher gebe es auch einen entscheidenden Unterschied zwischen Halluzinationen und dem, was er als „Bullshit“ bezeichnet – und der liegt in der internen Überzeugung des Systems. Wenn ein Sprachmodell halluziniert, ist es nicht mehr in der Lage, korrekte Antworten zu erzeugen. „Beim Bullshit hingegen ist das Problem nicht Verwirrung über die Wahrheit, sondern eine fehlende Verpflichtung, die Wahrheit zu berichten” (t3n vom 21.08.2025).

Interessant finde ich, dass die Forscher wohl auch eine erste Möglichkeit gefunden haben, um diesen Bullshit-Faktor zu überprüfen. Gut wäre es natürlich, wenn die Ergebnisse dann allen zur Verfügung stehen würden. Gespannt bin ich besonders darauf, wie Open Source AI Modelle abschneiden.

Veröffentlicht am

KI-Agenten im Projektmanagement

Künstliche Intelligenz kann ganz generell in vielen Bereichen einer Organisation eingesetzt werden – natürlich auch im Projektmanagement. Zu KI im Projektmanagement gibt es in der Zwischenzeit viele Beiträge. Siehe dazu beispielsweise auch Künstliche Intelligenz (KI) im Projektmanagement: Routine und Projektarbeit.

In der Zwischenzeit geht es in der Diskussion zu KI auch immer stärker um die Frage, wie KI Agenten im Projektmanagement genutzt werden können. Dazu gibt es den Beitrag KI-Agenten im Projektmanagement: So unterstützen digitale Rollen den Projektalltag von Jörg Meier, vom 15.07.2025 im GPM Blog. Darin werden erste gute Hinweise gegeben. Dennoch:

Ich hätte mir hier gewünscht, dass der Author auch auf die Problematik der Nutzung von Closed Sourced Modellen wie ChatGPT oder Gemini hinweist. Ausgewählte KI Modelle sollten möglichst “wirklich” Open Source AI (Definition aus 2024) sein. Es wäre m.E. auch die Aufgabe der GPM die Digitale Souveränität insgesamt stärker bewusst zu machen. Siehe dazu beispielsweise auch Digitale Souveränität: Souveränitätsscore für KI Systeme.

Dass KI Agenten gerade in der Software-Entwicklung erhebliche Potenziale erschließen können, wird in diesem Beitrag deutlich: The Agent Company: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen.