Veröffentlicht am

Digitale Souveränität: Nextcloud und Olmo 3 – a perfect match

Nextcloud nutzen wir schon lange als Alternative zu den bekannten Microsoft-Anwendungen. In Nextcloud ist es auch möglich, KI-Modelle zu integrieren. Im Vergleich zu Microsoft kann man auswählen, welches KI-Modell man nutzen möchte.- ein großer Vorteil.

Im Sinne einer Digitalen Souveränität ist es dabei natürlich sinnvoll, auf Open Weight Modelle wie Mistral AI zu setzen, oder sogar ein Open Source Modell wie Ollmo 3 zu nutzen. Es wundert daher nicht, dass Nextcloud Ollmo 3 mit einem grünen Rating versehen hat (Siehe dazu auch die von mir erstellte OpenStreetMap zu geeigneten Modellen aus Europa).

“We deeply believe in the four freedoms of free software and are convinced that being able to inspect and reproduce how the model was built is vital,” says Marcel Klehr, a software engineer at Nextcloud (Ai2 (2026) How Olmo 3 earned the highest ethical rating from Nextcloud, via LinkedIn, 02.11.2026).

Wenn Sie Nextcloud über Ihren eigenen Server betreiben, können Sie die llm-App installieren. Dort sind verschiedene LLMs zu finden, u.a. auch Ollmo 3. Nextcloud selbst nutzt Olmo 3 für verschiedene Funktionen des Nextcloud Assistenten. Die ethische Bewertung „grün“ bedeutet, dass alles quelloffen ist, auch die Trainingsdaten.

Wenn Sie Nextcloud nicht auf Ihrem eigenen Server, sondern beispielsweise IONOS Nextcloud Workspace nutzen, sind Sie hier eher etwas eingeschränkt. Dennoch ist es möglich, über die Ollama-App und die Langlow-App das KI-Modell Olmo 3 zu integrieren.

Gerade für Einzelpersonen, Kleine und Mittlere Unternehmen (KMU) bieten sich hier vielfältige Möglichkeiten auf Digitale Souveränität zu setzen und ein eigenes Open Source basiertes KI-basiertes System aufzubauen. Siehe dazu auch

Freund, R., Anisic, Z. (2026): Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs. International Conference MCP 2026, 16.-19.09.2026, Balatonfüred, Hungary.

Veröffentlicht am

Open Source AI: Das Modell Olmo 1B auf dem eigenen Laptop nutzen (Edge Computing)

https://allenai.org/olmo

Das Allen Institute Ai2 ist eine non-profit Organisation mit Sitz in Seattle. Sie hat sich das Ziel gesetzt, Open Source AI Modelle für allgemeine oder spezielle Anwendnungen bereitzustellen. Die Modelle sind also keine Open Weight, sondern wirkliche Open Source Modelle.

In diesem Beitrag soll es um das Olmo-Modell 1B gehen, das so klein und dennoch leistungsstark ist, dass es auf einem handelsüblichen Laptop laufen kann (Edge Computing). Da ich die Ollama-App auf meinem Laptop installiert habe, konnte ich das Modell mit dem folgenden Befehl (cmd) unter Windows 11 herunterladen. Der Vorteil einer aktuellen Version der Ollama-App ist, dass diese schon GGUF-Modelle nutzen kann:

ollama run hf.co/NikolayKozloff/AMD-OLMo-1B-Q8_0-GGUF:latest

Nachdem der Download abgeschlossen war, wurde mir das Modell in der Ollama-App sofort in den Auswahlmöglichkeiten angezeigt – allerdings als Olmo 2 (Abbildung). Der Grund liegt in der Architekturverwandtschaft der Modelle und der Benennung bei Huggingface. Ai2 hat das Modell Olmo 1B auf Basis von Olmo 2 für das Edge Computing optimiert.

Screenshot aus der Ollama-App mit OLMo2 (OLMo 1B) und einer Abfrage zu Open User Innovation

Meine Frage nach Open User Innovation wurde zügig und gut beantwortet. Es ist schon erstaunlich, dass so kleine Modelle auf dem eigenen Laptop problemlos laufen und auch noch brauchbare Antworten liefern.

Gerade für Kleine und Mittlere Unternehmen (KMU) stellen Open Source KI-Modelle eine gute Basis dar, unabhängiger von den großen KI-Modellen zu werden, denn für viele Anwendungen reichen auch kleine Modelle aus. Gerade wenn man diese dann noch mit den eigenen Daten nutzt und diese dann auf dem eigenen Laptop bleiben – ein unschätzbarer Schritt in Richtung der Digitalen Souveränität. Siehe dazu auch

Die neue Olmo3 Modell-Familie

Open Source AI: Molmo 2 mit Schwerpunkt auf Videos

Mit FlexOlmo Trainingsmodelle kollaborativ erarbeiten – eine interessante Idee

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Präsentationen ein.

Veröffentlicht am

Lokale Nutzung von KI-Modellen mit der LLama.cpp – App

https://llama-cpp.com/

Immer mehr Prívatpersonen, Kleinstunternehmen, Kleine und Mittlere Unternehmen (KMU), Non-Profit Organisationen etc. erkennen die Möglichkeiten, KI-Modelle lokal auf ihrer Hardware zu nutzen. Dazu gibt es verschiedene Open Source Software.

Wie Sie in vielen unserer Beiträge lesen konnten, haben wir uns Ollama App entschiedenen, da wir eine einfache Integration der in Ollama installierten KI-Modelle in Langflow sehen. Langflow wiederum bietet die Möglichkeit, Workflows, oder KI-Agenten mit Drag & Drop zu erstellen.

Eine Alternative zu Ollama ist u.a. LLama.cpp (Abbildung) – beides natürlich Open Source Software und als App auf der lokalen Hardware installierbar.

„You do not need to pay to use Llama.cpp or buy a subscription. It is completely free, open-source, constantly updated and available under the “MIT” license“ (LLama.cpp-Website)

Wie bei allen Vergleichen haben beide Vorteile und Nachteile. Es kommt darauf an, welche Schwerpunkte Sie bei der Nutzung von lokalen KI-Modellen haben. Bei den vielen im Netz zu findenden Vergleichen habe ich manchmal den Eindruck, dass Äpfel mit Birnen verglichen werden, da Ollama und LLama.ccp unterschiedlichen Kategorien angehören.

Testen Sie die Apps einfach einmal aus und schauen Sie, welche besser zu Ihren Anforderungen passt.

Veröffentlicht am

Open Source AI: Wie kann ich einen einfachen Workflow in der Langflow App anlegen?

In der eigenen Langflow App angelgter einfacher Workflow

In dem Blogbeitrag Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen hatte ich gezeigt, wie man mit Hilfe der Ollama App, Open Source KI-Modelle (oder Open Weight KI-Modelle) auf dem eigenen Laptop installieren und nutzen kann. Da es in der Zwischenzeit viele kleine und leistungsstarke KI-Modelle (SLM: Small Language Models gibt), ist dieser Ansatz gerade für Kleinstunternehmen wirtschaftlich interessant.

Wenn es im nächsten Schritt darum geht, solche Modelle in eigene KI-Agenten einzubinden, bietet sich die auf dem eigenen Laptop installierte Langflow App an – eine Alternative ist LM Studio. Die Ollama App und die Langflow App sind natürlich Open Source.

In der Abbildung oben ist ein einfacher Workflow mit den Knoten Chat Input, Language Model und Chat Output dargestellt (rot umrahmt). Diese Knoten konnte ich per Drag & Drop in die Arbeitsfläche ziehen. Dabei wird farbig angezeigt, welche Verknüpfungen möglich sind.

Bei dem Language Model habe ich in der auf meinem Laptop installierten Ollama App ein Modell ausgesucht – in meinem Fall ist es Qwen 2.5. Es stehen hier alle in der Ollama App installierten KI-Modelle zur Verfügung. Wir testen mit geeigneten Open Weight, bzw. Open Source Modellen. Siehe dazu auch Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen.

Diesen kleinen Workflow kann ich anschließend im Playground (Button rechts oben) testen. Als Chat Input habe ich dort eine Frage zu Eric von Hippel gestellt, die dann mit dem hinterlegten KI-Modell schnell beantwortet wurde – obwohl ich dazu einen relativ alten Laptop genutzt habe. Die folgende Abbildung zeigt das gute Ergebnis im Playground.

Ergebnis im Playground

Es ist also mit Ollama App und der Langflow App auf dem eigenen Laptop möglich, kleine KI-Modelle (Open Source, Open Weight) zu nutzen, und sogar kleine Workflows abzubilden. Dabei bleiben alle generierten Daten auf meinem Laptop. Das ist besonders wichtig, wenn ich nicht nur einen einfachen Workflow, abbilden, sondern KI-Agenten entwickeln möchte, die bei der Bearbeitung auch eigene Daten aus unserer Nextcloud mit berücksichtigen sollen – ganz im Sinne einer Digitalen Souveränität.

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.

Veröffentlicht am

Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen

Screenshot von meiner Ollama App, die auf Ministral 3B als Open Source Ki-Modell zugreift

In verschiedenen Blogbeiträgen hatten wir aufgezeigt, wie in der Nextcloud mit Hilfe von Local AI Open Source KI-Modelle von Mistral AI genutzt werden können. Siehe dazu beispielhaft Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Dazu ist es allerdings empfehlenswert, für Local AI nicht den Server zu nutzen, auf dem Nextcloud läuft. Ein weiterer Server ist allerdings gerade für Kleine und Mittlerer Unternehmen (KMU) ein Aufwand, den viele scheuen. Wie kann es also kostengünstiger gehen?

In der Zwischenzeit gibt es von Mistral AI in der Model-Familie Mistral 3 auch das Modell Ministral 3B (inkl. Vergleichstabellen), das mit seiner Leistungsfähigkeit sogar das Modell Mistral 7B übertrifft, weil Ministral 3B sehr kompakt ist und gerade für die Nutzung auf normalen Laptops entwickelt wurde (Edge Computing).

Wie kann man Ministral 3B auf seinem eigenen Laptop nutzen?

(1) Um das Modell bequem zu nutzen, bietet sich die App Ollama an, die Sie zunächst auf Ihrem Laptop installieren.

(2) Nun laden Sie Ministral 3B auf Ihren Laptop herunter. Wenn Sie Windows 11 installiert haben geht das wie folgt: Tastenkombination Windows-Taste + R drücken, cmd in das Textfeld eingeben und mit Enter bestätigen. Mit dem Befehl ollama run ministral-3:3b wird das Modell (3GB) heruntergeladen.

(3) Das KI-Modell können Sie anschließend direkt in der Ollama-Oberfläche in einem Rollfeld auswählen. In der Abbildung sehen das rechts unten mit einem roten Rechteck hervorgehoben.

(4) In meinem Fall habe ich Ministral 3B eine komplexe Frage zu Open User Innovation aus der Perspektive von Eric von Hippel gestellt, die zügig und gut beantwortet wurde.

Die Nutzung eines Open Source KI-Modells (Open Weight Models) auf dem eigenen Laptop bietet für Freelancer oder Kleinen Unternehmen die Möglichkeit, leistungsfähige KI-Modelle auf Ihrer eigenen Infrastruktur ohne zusätzliche Kosten zu nutzen.

Gleichzeitig ist Ministral 3B ein Modell, dass auf dem Open Source Gedanken beruht, europäische KI- und Datenschutz- Standards beachtet und somit einen wichtigen Schritt in Richtung der eigenen Digitalen Souveränität aufzeigt.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Künstliche Intelligenz: Open Source Modelle mit der Ollama-App auf dem eigenen Desktop

Eigener Screenshot – (c) Dr. Robert Freund

Ollama ist eine Open Source Software, mit der man kleine und größere Sprachmodelle (Small Language Models und Large Language Models testen kann.

(1) Zunächst natürlich auf Ollama selbst nach einem entsprechenden Login.

(2) Da Ollama Open Source ist, kann es auch auf dem eigenen Server installiert werden. Wie Sie wissen, haben wir das auch schon ausprobiert. Informationen dazu finden Sie in unseren verschiedenen Blogbeiträgen dazu.

(3) Es ist möglich, Ollama auf dem eigenen Desktop zu installieren und geeignete Modelle zu testen. In den Settings ist der Login bei Ollama zu hinterlegen.

Die Abbildung zeigt den Screenshot mit der Startseite auf meinem Desktop. Wie gewohnt kann ein geeigneter Prompt eingegeben werden.

Spannend ist, dass wir bei jedem neuen Chat aus verschiedenen installierten Modellen auswählen können. Bei dem Beispiel haben wir MISTRAL ausgewählt. Über das „+“-Zeichen können sogar Dateien mit hochgeladen werden.

Auch an der Stelle wird wieder deutlich, wie wichtig es ist, Künstliche Intelligenz mit transparenten Open Source Modellen auf der eigenen Infrastruktur zu betreiben. Ganz im Sinne einer Digitalen Souveränität.

Es war anschließend interessant zu sehen, wie schnell die Antwort über Ollama und MISTRAL erstellt wurde. Auch die Qualität der Antwort war gut. Hier der entsprechende Screenshot:

Ergebnis über MISTRAL (c) Dr. Robert reund
Veröffentlicht am

KI-Agenten per Drag & Drop: Langflow for Desktop

https://www.langflow.org/desktop

Langflow ist Open Source basiert und bietet die Möglichkeit, einfache Flows oder auch komplexere KI-Agenten per Drag & Drop zu erstellen.

„Langflow is a powerful tool to build and deploy AI agents and MCP servers. It comes with batteries included and supports all major LLMs, vector databases and a growing library of AI tools“ (Langflow-Website).

Wir haben Langflow auf einem Server installiert, und einige Tests dazu durchgeführt – inkl. der Nutzung von Ollama. Unser Ziel ist es mit einfachen Tools, die Open Source basiert sind und kleine, frei verfügbare Trainingsmodelle (Small Language Models) zu nutzen. Siehe dazu unsere Blogbeiträge zu Langflow.

In diese Richtung geht nun auch die Möglichkeit, Langflow auf dem eigenen Desktop zu nutzen. Dazu kann man sich auf dieser Website die App herunterladen und installieren.

Der Vorteil liegt auf der Hand: Es ist kein Server erforderlich, auf dem Langflow installiert werden muss. Der Nachteil ist allerdings auch klar: Je nach Hardware-Ausstattung des eigenen Desktops sind die Möglichkeiten zur Nutzung größerer Modelle (Large Language Models) noch begrenzt. Wir werden es auf jeden Fall einmal ausprobieren.

Veröffentlicht am

Proprietäre Software im Vergleich zu Open Source Software

Quelle: SFLC vom 11.11.2025

Digitale Souveränität fängt damit an, sich von propritärer Software unabhängiger zu machen. Proprietäre Software ist Software, deren Quellcode nicht öffentlich ist, und die Unternehmen gehört (Closed Software). Dazu zählen einerseits die verschiedenen Anwendungen von Microsoft, aber auch die von Google oder ZOHO usw.

Demgegenüber gibt es in der Zwischenzeit leistungsfähige Open Source Software. Die indische Organisation SFLC hat am 11. November eine Übersicht veröffentlicht, die Google Workplace, ZOHO Workplace und Nextcloud Office/ProtonMail/BigBlueButton gegenüberstellt – die Abbildung zeigt einen Ausschnitt aus der Tabelle, die in diesem Beitrag zu finden ist.

„The purpose of this comparison is to assess the different approaches, features, and trade-offs each solution presents and to help organizations make informed decisions based on their operational requirements, technical capabilities, and priorities around privacy, flexibility, and cost“ (ebd.).

Wir nutzen seit einiger Zeit Nextcloud mit seinen verschiedenen Möglichkeiten, inkl. Nextcloud Talk (Videokonferenzen), sodass BigBlueButton nicht separat erforderlich ist.

Darüber hinaus nutzen wir LocalAI über den Nextcloud Assistenten, haben OpenProject integriert und erweitern diese Möglichkeiten mit Langflow und Ollama, um KI-Agenten zu entwickeln.

Alles basiert auf Open Source Software, die auf unseren Servern laufen, sodass auch alle Daten auf unseren Servern bleiben – ganz im Sinne einer stärkeren Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Quelle: https://mistral.ai/news/mistral-3

Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:

Mistral 3 Large
A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.

Mistral 3
A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.

Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Image by Stefan Schweihofer from Pixabay

In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:

„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell
Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)

Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.

Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.

Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.