Veröffentlicht am

Künstliche Intelligenz: Das Modell GRANITE in unsere LocalAI eingebunden

Screenshot von unserer LocalAI-Installation: Selected Model Granite 3.0

In dem Beitrag Künstliche Intelligenz: Würden Sie aus diesem Glas trinken? ging es um die Frage, ob man KI-Modellen vertrauen kann. Bei den Closed Source Models der Tech-Konzerne ist das kaum möglich, da die Modelle gar nicht, bzw. kaum transparent sind und nicht der Definition von Open Source AI entsprechen.

Wenn aber der erste Schritt zur Nutzung von Künstlicher Intelligenz Vertrauen sein sollte (Thomas et al. 2025), sollte man sich als Privatperson, als Organisation, bzw. als Verwaltung nach Alternativen umsehen.

Wie Sie als Leser unseres Blogs wissen, tendieren wir zu (wirklichen) Open Source AI Modellen, doch in dem Buch von Thomas et al. (2025) ist mir auch der Hinweis auf das von IBM veröffentlichte KI-Modell Granite aufgefallen. Die quelloffene Modell-Familie kann über Hugging Face, Watsonx.ai oder auch Ollama genutzt werden.

Das hat mich neugierig gemacht, da wir ja in unserer LocalAI Modelle dieser Art einbinden und testen können. Weiterhin haben wir ja auch Ollama auf unserem Server installiert, um mit Langflow KI-Agenten zu erstellen und zu testen.

Im Fokus der Granite-Modellreihe stehen Unternehmensanwendungen, wobei die kompakte Struktur der Granite-Modelle zu einer erhöhten Effizienz beitragen soll. Unternehmen können das jeweilige Modell auch anpassen, da alles über eine Apache 2.0-Lizenz zur Verfügung gestellt wird.

Wie Sie der Abbildung entnehmen können, haben wir Granite 3.0 -1b-a400m in unsere lokale KI (LocalAI) eingebunden. Das geht relativ einfach: Wir wählen aus den aktuell mehr als 1.000 Modellen das gewünschte Modell zunächst aus. Anschließend brauchen wir nur auf “Installieren” zu klicken, und das Modell steht in der Auswahl “Select a model” zur Verfügung.

Im unteren Fenster (Send a message) habe ich testweise “Stakeholder for the project Website” eingegeben. Dieser Text erscheint dann blau hinterlegt, und nach einer kurzen Zeit kommen dann schon die Ergebnisse, die in der Abbildung grün hinterlegt sind. Wie Sie am Balken am rechten Rand der Grafik sehen können, gibt es noch mehrere Stakeholder, die man sieht, wenn man nach unten scrollt.

Ich bin zwar gegenüber Granite etwas skeptisch, da es von IBM propagiert wird, und möglicherweise eher zu den Open Weighted Models zählt, doch scheint es interessant zu sein, wie sich Granite im Vergleich zu anderen Modellen auf unserer LocalAI-Installation schlägt.

Bei allen Tests, die wir mit den hinterlegten Modellen durchführen, bleiben die generierten Daten alle auf unserem Server.

Veröffentlicht am

Digitale Souveränität: Whiteboard mit dem Nextcloud KI-Assistenten nutzen

Auf das in Nextcloud integrierte Whiteboard hatte ich in dem Beitrag Nextcloud Hub 9 Open Source: Whiteboard kollaborativ bearbeiten. Ein weiterer Schritt zu einem souveränen Arbeitsplatz hingewiesen.

Wenn man also in Nextcloud eine Datei öffnen möchte, hat man die Optionen “Neue Tabelle” (wie Excel), “Neue Textdatei” (wie Word), “Neue Präsentation” (wie Power Point), “Neues Diagramm” und eben ein “Neues Whiteboard” zu erstellen. Es ist praktisch, dass diese Möglichkeit direkt integriert ist.

Das Whiteboard selbst basiert auf dem von mir schon 2022 vorgestellten tldraw, das mir damals schon wegen seiner Einfachheit und Kompaktheit gefallen hat. Jetzt ist es also in Nextcloud eingebunden worden. Es gibt zu dem Whiteboard eine Bibliothek, in der man alle selbst erstellten Vorlagen hinterlegen, oder auch im Netz verfügbare Vorlagen einbinden kann. Natürlich gibt es nicht so viele frei verfügbare Vorlagen wie bei Miro oder Mural, doch hat das in Nextcloud integrierte Whiteboard die Vorteile, dass es in einer umfangreichen Kollaborationsplattform integriert und Open Source basiert ist, und alle Daten auf dem eigenen Server laufen.

Es gibt neben den von anderen Whiteboards bekannten Funktionen, in der Zwischenzeit auch einen Botton, um den Nextcloud KI-Assistenten mit in das Whiteboard einzubinden. In der Abbildung habe ich den Botton rot hervorgehoben.

Das in dem Assistenten hinterlegte KI-Modell können wir selbst festlegen, da wir die Modelle in unserer LocalAI vorliegen haben. Somit laufen alle Anwendungen auf unseren Servern und alle Daten bleiben auch bei uns. Ganz im Sinne der Reduzierung der oftmals noch vorherrschenden Digitalen Abhängigkeit von den den etablierten Anwendungen meist amerikanischer Tech-Konzerne.

Weg von der Digitalen Abhängigkeit und hin zu einer Digitalen Souveränität.

Veröffentlicht am

LangFlow: Per Drag & Drop KI-Agenten auf dem eigenen Server entwickeln und testen

Screenshot von unserer LangFlow-Installation (Simple Agent)

In dem Beitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren wird erläutert, wie Modelle – abhängig von der Eingabe – so kombiniert werden können, dass ein qualitativ gutes Ergebnis herauskommt.

Der nächste Schritt wäre, beliebig viele KI-Modelle in einem Framework zu entwickeln und zu koordinieren. Die Plattform LangChain bietet so eine professionelle, und somit auch anspruchswolle Möglichkeit.

“LangChain is an incredibly valuable tool for linking up chains of models and defining steps for how an output from a model should be handled before being sent to a different model (or often, the same model with a different prompt) for a new step in a workflow” (Thomas et al. 2025).

Wenn es etwas einfacher sein soll, bietet sich LangFlow an, bei dem mit einfachen Mitteln per Drag & Drop KI-Agenten in Zusammenspiel mit verschiedenen Modellen konfiguriert werden können.

Wir haben LangFlow auf unserem Server installiert (Open Source) und können nun KI-Agenten für verschiedene Anwendungen entwickeln und testen. Die Abbildung zeigt einen Screenshot der Startseite, wenn man einen einfachen Agenten entwickeln möchte. Auf der linken Seite können sehr viele Optionen ausgewählt werden, in dem grau hinterlegten Bereich werden diese dann per Drag & Drop zusammengestellt. Die farbigen Verbindungslinien zeigen, welche Optionen miteinander kombiniert werden können. Abschließend kann im anwählbaren Playground das Ergebnis beurteilt werden.

Dabei bietet LangfFlow auch die Möglichkeit, eigene Daten, oder auch externe Datenquellen einzubinden – alles per Drag & Drop. Weiterhin haben wir den Vorteil, dass alle generierten Daten auf unserem Server bleiben.

Veröffentlicht am

Digitale Souveränität: Videokonferenzen mit Nextcloud Talk – Open Source, und die Daten bleiben auf dem eigenen Server

Eigener Screenshot: Videokonferenz mit Nextcloud Talk auf unserem Server

Heute hatte ich eine Videokonferenz mit Kollegen aus verschiedenen Ländern. Dabei haben wir statt Zoom oder MS Teams bewusst Nextcloud Talk genutzt, das Bestandteil der Nextcloud-Installation auf unseren Servern ist. Nextcloud ist Open Source und führt zu einer Digitalen Souveränität – auch bei Videokonferenzen. Die Daten bleiben dabei alle auf unseren Servern.

Inhaltlich ging es bei der Videokonferenz um die nächste MCP-Konferenz, die im September 2026 stattfinden soll – die Vorfreude ist bei mir schon jetzt vorhanden. Siehe dazu auch die Konferenz-Website oder unsere Übersichtsseite zu Konferenzen.

Die Abbildung zeigt einen Screenshot zu dem Zeitpunkt, an dem ich eine Videokonferenz (Anruf) in Nextcloud Talk gestartet habe. Den Link zu dem Raum habe ich dann an die Teilnehmer gesandt, die keine weitere Installationen benötigen, um teilzunehmen. Natürlich können auch Videokonferenzen terminiert, und dazu eingeladen werden. Wie dem Screenshot zu entnehmen ist, sind die aus anderen Videokonferenz-Tools bekannten Aktivitäten integriert – ich möchte diese daher hier nicht mehr ausführlich erläutern.

Nextcloud Talk ist dabei in eine komplette Kollaborationsplattform (inkl. Open Project, Deck als Board, Cloud als Datenspeicher, kollaboratives Arbeiten an Dateien, Whiteboard usw. usw.) integriert, die einen souveränen Arbeitsplatz unterstützt – alles Open Source, und die Daten bleiben auf dem eigenen Server.

Darüber hinaus haben wir auch LocalAI integriert, und die Möglichkeit geschaffen, KI-Agenten zu entwickeln und zu nutzen – alles Open Source, alle Daten bleiben auf unseren Servern.

Veröffentlicht am

(Mass) Personalized AI Agents für dezentralisierte KI-Modelle

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Es wird von Tag zu Tag deutlicher: Mit der zunehmenden Verbreitung von Künstlicher Intelligenz (AI: Artificial Intelligence) kommen die zentralen, großen KI-Modelle (Large Language Models) mit ihrem Mangel an Transparenz und ihrem “laxen” Umgang mit dem Urheberrecht oder auch mit dem Datenschutz, an Grenzen.

Einzelne Personen, Organisationen und auch Öffentliche Verwaltungen halten ihre Daten entsprechend zurück, wodurch Kooperation, Kollaboration und letztendlich auch Innovation behindert wird. Der Trend von den LLM (Large Language Models), zu Small Language Models (SLM), zu KI-Agenten, zusammen mit dem Wunsch vieler auch die eigenen Daten – und damit die eigene Expertise – für KI-Anwendungen zu nutzen, führt zu immer individuelleren, customized, personalized Modellen und letztendlich zu Personalized AI-Agents.

“Personal agents: Recent progress in foundation models is enabling personalized AI agents (assistants, co-pilots, etc.). These agents require secure access to private user data, and a comprehensive understanding of preferences. Scaling such a system to population levels requires orchestrating billions of agents. A decentralized framework is needed to achieve this without creating a surveillance state” (Singh et al. 2024).

Forscher am Massachusetts Institute of Technology (MIT) haben diese Entwicklungen systematisch analysiert und sind zu dem Schluss gekommen, dass es erforderlich ist, Künstliche Intelligenz zu dezentralisieren: Decentralized AI.

Mein Wunsch wäre es in dem Zusammenhang, dass alle Anwendungen (Apps, Tools etc.) einzelnen Personen und Organisationen als Open Source zur Verfügung stehen, ganz im Sinne von Mass Personalization – nur dass Mass Personalization für KI-Agenten nicht von Unternehmen ausgeht und auf den Konsumenten ausgerichtet ist! Das hätte eine sehr starke Dynamik von Innovationen zur Folge, die Bottom Up erfolgen und die Bedürfnisse der Menschen stärker berücksichtigen.

Veröffentlicht am

Report 2025: Commercial Open Source Software (COSS)

Quelle: Linux Foundation Infographic

Wir alle nutzen mehr oder weniger intensiv Open Source Anwendungen. Gerade in der Diskussion um die Digitale Souveränität in Europa kommt dem Thema allerdings eine besondere Bedeutung zu – es geht um mehr Unabhängigkeit und dadurch um mehr Eigenverantwortung für Daten. Darüber hinaus gibt es auch eine dynamische Entwicklung bei der Kommerzialisierung von Open Source Anwendungen (COSS: Commercial Open Source Software). In dem aktuell vorliegenden Report

Sam Boysel, Linux Foundation; Matthiueu Lavergne, Serena; Matt Trifiro, Commercial Open Source Startup Alliance (COSSA) (2025): The State of Commercial. Open Source 2025. The Data-Backed Financial Case from 25 Years of Commercial Open Source | PDF

geht es darum aufzuzeigen, wie sich Commercial Open Source Software (COSS) auch bei wichtigen finanziellen Kennzahlen schlägt. Die Ergebnisse sind erstaunlich:

“This report sets out to settle that debate with data. Drawing from 25 years of venture capital activity and a matched dataset of over 800 VC-backed COSS startups, we benchmark the funding trajectories and liquidity outcomes of open source companies against their closed-source peers. The results are conclusive: not only is COSS financially viable, it consistently outperforms on key venture metrics especially in infrastructure software” (ebd.).

Seit vielen Jahren sind Personen und Organisationen, die Open Source Software favorisieren, eher eine “Randnotiz” gewesen. Diese Sicht scheint sich seit einigen Jahren kontinuierlich zu verändern. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

KI-Agenten im Projektmanagement

Künstliche Intelligenz kann ganz generell in vielen Bereichen einer Organisation eingesetzt werden – natürlich auch im Projektmanagement. Zu KI im Projektmanagement gibt es in der Zwischenzeit viele Beiträge. Siehe dazu beispielsweise auch Künstliche Intelligenz (KI) im Projektmanagement: Routine und Projektarbeit.

In der Zwischenzeit geht es in der Diskussion zu KI auch immer stärker um die Frage, wie KI Agenten im Projektmanagement genutzt werden können. Dazu gibt es den Beitrag KI-Agenten im Projektmanagement: So unterstützen digitale Rollen den Projektalltag von Jörg Meier, vom 15.07.2025 im GPM Blog. Darin werden erste gute Hinweise gegeben. Dennoch:

Ich hätte mir hier gewünscht, dass der Author auch auf die Problematik der Nutzung von Closed Sourced Modellen wie ChatGPT oder Gemini hinweist. Ausgewählte KI Modelle sollten möglichst “wirklich” Open Source AI (Definition aus 2024) sein. Es wäre m.E. auch die Aufgabe der GPM die Digitale Souveränität insgesamt stärker bewusst zu machen. Siehe dazu beispielsweise auch Digitale Souveränität: Souveränitätsscore für KI Systeme.

Dass KI Agenten gerade in der Software-Entwicklung erhebliche Potenziale erschließen können, wird in diesem Beitrag deutlich: The Agent Company: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen.

Veröffentlicht am

NANDA – die Idee eines Open Agentic Web

Nanda Roadmap (Quelle: https://nanda.media.mit.edu/)

Mit KI Agenten (AI Agents) ist es möglich, in der Geschäftswelt vielfältige Prozesse zu optimieren, oder innovative Prozesse, Produkte und Dienstleistungen zu generieren, die bisher aus den verschiedensten Gründen nicht möglich waren. Dazu zählen oftmals nicht verfügbare Daten und die dazugehörenden Kosten.

Auf Basis dieser Entwicklungen können wir in Zukunft immer stärker von einer Agentenbasierten Wirtschaft sprechen – Agentic Economy (Siehe Abbildung). Dabei geht es um die Nutzung von KI-Agenten in Unternehmen oder in ganzen Branchen. Siehe dazu The Agent Company: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen oder auch Künstliche Intelligenz lässt Mass Customization in einem anderen Licht erscheinen.

Denken wir etwas weiter, so müssen in Zukunft auch immer stärker KI-Agenten miteinander kommunizieren, also von Agent zu Agent – A2A. Passiert das zwischen sehr vielen Agenten eines Wirtschaftssystems, bzw. einer ganzen Gesellschaft, entsteht so etwas wie eine Agentic Society.

Das Projekt NANDA hat sich in dem Zusammenhang das Ziel gesetzt, diese Entwicklung mit einem Open Agentic Web zu unterstützen:

“Imagine billions of specialized AI agents collaborating across a decentralized architecture. Each performs discrete functions while communicating seamlessly, navigating autonomously, socializing, learning, earning and transacting on our behalf” (Source).

Das vom MIT initiierte Projekt NANDA arbeitet in Europa u.a. mit der TU München und der ETH Zürich zusammen. Das Ziel ist, alles Open Source basiert zur Verfügung zu stellen..

Ich bin an dieser Stelle immer etwas vorsichtig, da beispielsweise OpenAI auch beim Start das Ziel hatte, KI als Open Source zur Verfügung zu stellen. In der Zwischenzeit wissen wir, dass OpenAI ein Closed Source Model, bzw. ein Open Weights Model ist, und kein Open Source Model. Siehe dazu Das Kontinuum zwischen Closed Source AI und Open Source AI.

Veröffentlicht am

Digital Sovereignty Index Score

Quelle: https://dsi.nextcloud.com/

In dem Blogbeitrag Digitale Souveränität: Europa, USA und China im Vergleich hatte ich schon einmal darauf hingewiesen, wie unterschiedlich die Ansätze zur Digitalen Souveränität in verschiedenen Regionen der Welt sind. Die verschiedenen Dimensionen waren hier “Right-based”, “Market-based”, “State-based” und “Centralization”, aus denen sich die gegensätzlichen Extreme “Hard Regulation” und “Soft Regulation” ergeben haben.

Der Digital Sovereignty Index Score (Abbildung) unterscheidet sich von dieser Betrachtungsweise. Im Unterschied zu der zu Beginn erwähnten Analyse, die eher die politische oder marktwirtschaftliche Perspektive hervorhebet, entsteht der Digital Sovereignty Index anders.

Hier wird analysiert, ob die wichtigsten 50 relevanten, selbst gehosteten Tools für digitale Kollaboration und Kommunikation verfügbar sind.

“We selected 50 of the most relevant self-hosted tools for digital collaboration and communication. These include platforms for file sharing, video conferencing, mail, notes, project management, and more.

We then measured their real-world usage by counting the number of identifiable server instances per country.

The result is an index score per country, (…)”

Source: https://dsi.nextcloud.com/

Die Digitale Souveränität wird in einem Score berechnet und für verschiedene Länder in einer anschaulichen Grafik dargestellt (Abbildung). Die Farben zeigen an, wie gut (grün) oder schlecht (rot) es in dem beschriebenen Sinn mit der Digitalen Souveränität in dem jeweiligen Land bestellt ist. Es ist gut zu erkennen, das die beiden Länder Finnland und Deutschland grün hervorgehoben sind.

Wie der Grafik weiterhin zu entnehmen ist, sind viele Länder, u.a. China noch weiß dargestellt. Die Limitierung der Analyse ist den Initiatoren des DSI Score durchaus bewusst, dennoch sehen sie diese Grafik als Startpunkt für eine bessere Übersicht zu dem Thema, zum dem jeder aufgefordert ist, mitzumachen.

Mich hat natürlich interessiert, wer hinter der Website steckt… – siehe da, es ist die Nextcloud GmbH mit dem Büro Stuttgart. Das wundert mich jetzt nicht wirklich, da Nextcloud schon immer auf die Digitale Souveränität bei Einzelpersonen, Organisationen und Öffentlichen Verwaltungen hingewiesen hat. Auch wir stellen nach und nach auf die Möglichkeiten von Nextcloud um, inkl. LocalAI und Open Source KI-Agenten. Siehe dazu auch

Von der digitalen Abhängigkeit zur digitalen Souveränität

Digitale Souveränität: Welche Open Source Alternativen gibt es?

Digitale Souveränität: Souveränitätsscore für KI Systeme

Digitale Souveränität: Google Drive im Vergleich zu Nextcloud

Veröffentlicht am

Künstliche Intelligenz: Was ist unter einer Mixture of Experts (MoE) Architektur zu verstehen?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.

Doch es gibt noch eine andere Möglichkeit, und das ist eine Mixture of Experts (MoE) Architektur.

“In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).

Es geht also im Prinzip darum, für den jeweiligen Input das geeignete Modell auszuwählen, um einen qualitativ hochwertigen Output zu generieren. Das erinnert mich stark an meinen Blogbeitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.

Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.

Aus meiner Sicht, sollten die Modelle alle der Definition einer Open Source AI entsprechen – das ist aktuell noch nicht überall gegeben. Siehe dazu auch Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?