Veröffentlicht am

Lokale Nutzung von KI-Modellen mit der LLama.cpp – App

https://llama-cpp.com/

Immer mehr Prívatpersonen, Kleinstunternehmen, Kleine und Mittlere Unternehmen (KMU), Non-Profit Organisationen etc. erkennen die Möglichkeiten, KI-Modelle lokal auf ihrer Hardware zu nutzen. Dazu gibt es verschiedene Open Source Software.

Wie Sie in vielen unserer Beiträge lesen konnten, haben wir uns Ollama App entschiedenen, da wir eine einfache Integration der in Ollama installierten KI-Modelle in Langflow sehen. Langflow wiederum bietet die Möglichkeit, Workflows, oder KI-Agenten mit Drag & Drop zu erstellen.

Eine Alternative zu Ollama ist u.a. LLama.cpp (Abbildung) – beides natürlich Open Source Software und als App auf der lokalen Hardware installierbar.

„You do not need to pay to use Llama.cpp or buy a subscription. It is completely free, open-source, constantly updated and available under the “MIT” license“ (LLama.cpp-Website)

Wie bei allen Vergleichen haben beide Vorteile und Nachteile. Es kommt darauf an, welche Schwerpunkte Sie bei der Nutzung von lokalen KI-Modellen haben. Bei den vielen im Netz zu findenden Vergleichen habe ich manchmal den Eindruck, dass Äpfel mit Birnen verglichen werden, da Ollama und LLama.ccp unterschiedlichen Kategorien angehören.

Testen Sie die Apps einfach einmal aus und schauen Sie, welche besser zu Ihren Anforderungen passt.

Veröffentlicht am

Open Source AI: Wie kann ich einen einfachen Workflow in der Langflow App anlegen?

In der eigenen Langflow App angelgter einfacher Workflow

In dem Blogbeitrag Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen hatte ich gezeigt, wie man mit Hilfe der Ollama App, Open Source KI-Modelle (oder Open Weight KI-Modelle) auf dem eigenen Laptop installieren und nutzen kann. Da es in der Zwischenzeit viele kleine und leistungsstarke KI-Modelle (SLM: Small Language Models gibt), ist dieser Ansatz gerade für Kleinstunternehmen wirtschaftlich interessant.

Wenn es im nächsten Schritt darum geht, solche Modelle in eigene KI-Agenten einzubinden, bietet sich die auf dem eigenen Laptop installierte Langflow App an – eine Alternative ist LM Studio. Die Ollama App und die Langflow App sind natürlich Open Source.

In der Abbildung oben ist ein einfacher Workflow mit den Knoten Chat Input, Language Model und Chat Output dargestellt (rot umrahmt). Diese Knoten konnte ich per Drag & Drop in die Arbeitsfläche ziehen. Dabei wird farbig angezeigt, welche Verknüpfungen möglich sind.

Bei dem Language Model habe ich in der auf meinem Laptop installierten Ollama App ein Modell ausgesucht – in meinem Fall ist es Qwen 2.5. Es stehen hier alle in der Ollama App installierten KI-Modelle zur Verfügung. Wir testen mit geeigneten Open Weight, bzw. Open Source Modellen. Siehe dazu auch Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen.

Diesen kleinen Workflow kann ich anschließend im Playground (Button rechts oben) testen. Als Chat Input habe ich dort eine Frage zu Eric von Hippel gestellt, die dann mit dem hinterlegten KI-Modell schnell beantwortet wurde – obwohl ich dazu einen relativ alten Laptop genutzt habe. Die folgende Abbildung zeigt das gute Ergebnis im Playground.

Ergebnis im Playground

Es ist also mit Ollama App und der Langflow App auf dem eigenen Laptop möglich, kleine KI-Modelle (Open Source, Open Weight) zu nutzen, und sogar kleine Workflows abzubilden. Dabei bleiben alle generierten Daten auf meinem Laptop. Das ist besonders wichtig, wenn ich nicht nur einen einfachen Workflow, abbilden, sondern KI-Agenten entwickeln möchte, die bei der Bearbeitung auch eigene Daten aus unserer Nextcloud mit berücksichtigen sollen – ganz im Sinne einer Digitalen Souveränität.

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.

Veröffentlicht am

Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen

Screenshot von meiner Ollama App, die auf Ministral 3B als Open Source Ki-Modell zugreift

In verschiedenen Blogbeiträgen hatten wir aufgezeigt, wie in der Nextcloud mit Hilfe von Local AI Open Source KI-Modelle von Mistral AI genutzt werden können. Siehe dazu beispielhaft Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Dazu ist es allerdings empfehlenswert, für Local AI nicht den Server zu nutzen, auf dem Nextcloud läuft. Ein weiterer Server ist allerdings gerade für Kleine und Mittlerer Unternehmen (KMU) ein Aufwand, den viele scheuen. Wie kann es also kostengünstiger gehen?

In der Zwischenzeit gibt es von Mistral AI in der Model-Familie Mistral 3 auch das Modell Ministral 3B (inkl. Vergleichstabellen), das mit seiner Leistungsfähigkeit sogar das Modell Mistral 7B übertrifft, weil Ministral 3B sehr kompakt ist und gerade für die Nutzung auf normalen Laptops entwickelt wurde (Edge Computing).

Wie kann man Ministral 3B auf seinem eigenen Laptop nutzen?

(1) Um das Modell bequem zu nutzen, bietet sich die App Ollama an, die Sie zunächst auf Ihrem Laptop installieren.

(2) Nun laden Sie Ministral 3B auf Ihren Laptop herunter. Wenn Sie Windows 11 installiert haben geht das wie folgt: Tastenkombination Windows-Taste + R drücken, cmd in das Textfeld eingeben und mit Enter bestätigen. Mit dem Befehl ollama run ministral-3:3b wird das Modell (3GB) heruntergeladen.

(3) Das KI-Modell können Sie anschließend direkt in der Ollama-Oberfläche in einem Rollfeld auswählen. In der Abbildung sehen das rechts unten mit einem roten Rechteck hervorgehoben.

(4) In meinem Fall habe ich Ministral 3B eine komplexe Frage zu Open User Innovation aus der Perspektive von Eric von Hippel gestellt, die zügig und gut beantwortet wurde.

Die Nutzung eines Open Source KI-Modells (Open Weight Models) auf dem eigenen Laptop bietet für Freelancer oder Kleinen Unternehmen die Möglichkeit, leistungsfähige KI-Modelle auf Ihrer eigenen Infrastruktur ohne zusätzliche Kosten zu nutzen.

Gleichzeitig ist Ministral 3B ein Modell, dass auf dem Open Source Gedanken beruht, europäische KI- und Datenschutz- Standards beachtet und somit einen wichtigen Schritt in Richtung der eigenen Digitalen Souveränität aufzeigt.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Künstliche Intelligenz: Open Source Modelle mit der Ollama-App auf dem eigenen Desktop

Eigener Screenshot – (c) Dr. Robert Freund

Ollama ist eine Open Source Software, mit der man kleine und größere Sprachmodelle (Small Language Models und Large Language Models testen kann.

(1) Zunächst natürlich auf Ollama selbst nach einem entsprechenden Login.

(2) Da Ollama Open Source ist, kann es auch auf dem eigenen Server installiert werden. Wie Sie wissen, haben wir das auch schon ausprobiert. Informationen dazu finden Sie in unseren verschiedenen Blogbeiträgen dazu.

(3) Es ist möglich, Ollama auf dem eigenen Desktop zu installieren und geeignete Modelle zu testen. In den Settings ist der Login bei Ollama zu hinterlegen.

Die Abbildung zeigt den Screenshot mit der Startseite auf meinem Desktop. Wie gewohnt kann ein geeigneter Prompt eingegeben werden.

Spannend ist, dass wir bei jedem neuen Chat aus verschiedenen installierten Modellen auswählen können. Bei dem Beispiel haben wir MISTRAL ausgewählt. Über das „+“-Zeichen können sogar Dateien mit hochgeladen werden.

Auch an der Stelle wird wieder deutlich, wie wichtig es ist, Künstliche Intelligenz mit transparenten Open Source Modellen auf der eigenen Infrastruktur zu betreiben. Ganz im Sinne einer Digitalen Souveränität.

Es war anschließend interessant zu sehen, wie schnell die Antwort über Ollama und MISTRAL erstellt wurde. Auch die Qualität der Antwort war gut. Hier der entsprechende Screenshot:

Ergebnis über MISTRAL (c) Dr. Robert reund
Veröffentlicht am

KI-Agenten per Drag & Drop: Langflow for Desktop

https://www.langflow.org/desktop

Langflow ist Open Source basiert und bietet die Möglichkeit, einfache Flows oder auch komplexere KI-Agenten per Drag & Drop zu erstellen.

„Langflow is a powerful tool to build and deploy AI agents and MCP servers. It comes with batteries included and supports all major LLMs, vector databases and a growing library of AI tools“ (Langflow-Website).

Wir haben Langflow auf einem Server installiert, und einige Tests dazu durchgeführt – inkl. der Nutzung von Ollama. Unser Ziel ist es mit einfachen Tools, die Open Source basiert sind und kleine, frei verfügbare Trainingsmodelle (Small Language Models) zu nutzen. Siehe dazu unsere Blogbeiträge zu Langflow.

In diese Richtung geht nun auch die Möglichkeit, Langflow auf dem eigenen Desktop zu nutzen. Dazu kann man sich auf dieser Website die App herunterladen und installieren.

Der Vorteil liegt auf der Hand: Es ist kein Server erforderlich, auf dem Langflow installiert werden muss. Der Nachteil ist allerdings auch klar: Je nach Hardware-Ausstattung des eigenen Desktops sind die Möglichkeiten zur Nutzung größerer Modelle (Large Language Models) noch begrenzt. Wir werden es auf jeden Fall einmal ausprobieren.

Veröffentlicht am

Proprietäre Software im Vergleich zu Open Source Software

Quelle: SFLC vom 11.11.2025

Digitale Souveränität fängt damit an, sich von propritärer Software unabhängiger zu machen. Proprietäre Software ist Software, deren Quellcode nicht öffentlich ist, und die Unternehmen gehört (Closed Software). Dazu zählen einerseits die verschiedenen Anwendungen von Microsoft, aber auch die von Google oder ZOHO usw.

Demgegenüber gibt es in der Zwischenzeit leistungsfähige Open Source Software. Die indische Organisation SFLC hat am 11. November eine Übersicht veröffentlicht, die Google Workplace, ZOHO Workplace und Nextcloud Office/ProtonMail/BigBlueButton gegenüberstellt – die Abbildung zeigt einen Ausschnitt aus der Tabelle, die in diesem Beitrag zu finden ist.

„The purpose of this comparison is to assess the different approaches, features, and trade-offs each solution presents and to help organizations make informed decisions based on their operational requirements, technical capabilities, and priorities around privacy, flexibility, and cost“ (ebd.).

Wir nutzen seit einiger Zeit Nextcloud mit seinen verschiedenen Möglichkeiten, inkl. Nextcloud Talk (Videokonferenzen), sodass BigBlueButton nicht separat erforderlich ist.

Darüber hinaus nutzen wir LocalAI über den Nextcloud Assistenten, haben OpenProject integriert und erweitern diese Möglichkeiten mit Langflow und Ollama, um KI-Agenten zu entwickeln.

Alles basiert auf Open Source Software, die auf unseren Servern laufen, sodass auch alle Daten auf unseren Servern bleiben – ganz im Sinne einer stärkeren Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Quelle: https://mistral.ai/news/mistral-3

Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:

Mistral 3 Large
A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.

Mistral 3
A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.

Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Image by Stefan Schweihofer from Pixabay

In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:

„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell
Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)

Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.

Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.

Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.

Veröffentlicht am

Mit Künstlicher Intelligenz zu Innovationen – aber wie?

Wenn es um Innovationen geht, denken viele an bahnbrechende Erfindungen (Inventionen), die dann im Markt umgesetzt, und dadurch zu Innovationen werden.. Da solche Innovationen oft grundlegende Marktstrukturen verändern, werden diese Innovationen mit dem Begriff „disruptiv“ charakterisiert. Siehe dazu auch Disruptive Innovation in der Kritik.

Betrachten wir uns allerdings die Mehrzahl von Innovationen etwas genauer, so entstehen diese hauptsächlich aus der Neukombination von bestehenden Konzepten. Dazu habe ich auch eine entsprechende Quelle gefunden, die das noch einmal unterstreicht.

„New ideas do not come from the ether; they are based on existing concepts. Innovation scholars have long pointed to the importance of recombination of existing ideas. Breakthrough often happen, when people connect distant, seemingly unrelated ideas“ (Mollick 2024).

Bei Innovationsprozessen wurden schon in der Vergangenheit immer mehr digitale Tools eingesetzt. Heute allerdings haben wir mit Künstlicher Intelligenz (GenAI) ganz andere Möglichkeiten, Neukombinationen zu entdecken und diese zu Innovationen werden zu lassen.

Dabei kommt es natürlich darauf an, welche Modelle (Large Language Models, Small Language Models, Closed Sourced Models, Open Weighted Models, Open Source Models) genutzt werden.

Wir favorisieren nicht die GenAI Modelle der bekannten Tech-Unternehmen, sondern offene, transparente und für alle frei zugängige Modelle, um daraus dann Innovationen für Menschen zu generieren.

Wir setzen diese Gedanken auf unseren Servern mit Hilfe geeigneter Open Source Tools und Open Source Modellen um:

LocalAI: Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI

Ollama und Langflow: Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Dabei bleiben alle Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Den Gedanken, dass Künstliche Intelligenz (Cognitive Computing) Innovationen (hier: Open Innovation) unterstützen kann, habe ich schon 2015 auf der Weltkonferenz in Montreal (Kanada) in einer Special Keynote vorgestellt.

Siehe dazu Freund, R. (2016): Cognitive Computing and Managing Complexity in Open Innovation Model. Bellemare, J., Carrier, S., Piller, F. T. (Eds.): Managing Complexity. Proceedings of the 8th World Conference on Mass Customization, Personalization, and Co-Creation (MCPC 2015), Montreal, Canada, October 20th-22th, 2015, pp. 249-262 | Springer

Veröffentlicht am

Künstliche Intelligenz im Projektmanagement: Ethische Kompetenz für die Projektleitung?

In allen Projekten werden mehr oder weniger oft digitale Tools, bzw. komplette Kollaborationsplattformen eingesetzt. Hinzu kommen jetzt immer stärker die Möglichkeiten der Künstlicher Intelligenz im Projektmanagement (GenAI, KI-Agenten usw.).

Projektverantwortliche stehen dabei vor der Frage, ob sie den KI-Angeboten der großen Tech-Konzerne vertrauen wollen – viele machen das. Immerhin ist es bequem, geht schnell und es gibt auch gute Ergebnisse. Warum sollte man das hinterfragen? Möglicherweise gibt es Gründe.

Es ist schon erstaunlich zu sehen, wie aktuell Mitarbeiter ChatGPT, Gemini usw. mit personenbezogenen Daten (Personalwesen) oder auch unternehmensspezifische Daten (Expertise aus Datenbanken) füttern, um schnelle Ergebnisse zu erzielen – alles ohne zu fragen: Was passiert mit den Daten eigentlich? Siehe dazu auch Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?

Je innovativer ein Unternehmen ist, desto einzigartiger sind seine Daten. Was mit diesen Daten dann passiert, ist relativ unklar. Es wundert daher nicht, dass nur ein kleiner Teil der Unternehmensdaten in den bekannten LLM (Large Language Models) zu finden ist. Siehe dazu Künstliche Intelligenz: 99% der Unternehmensdaten sind (noch) nicht in den Trainingsdaten der LLMs zu finden.

Es stellt sich zwangsläufig die Frage, wie man diesen Umgang mit den eigenen Daten und das dazugehörende Handeln bewertet. An dieser Stelle kommt der Begriff Ethik ins Spiel, denn Ethik befasst sich mit der „Bewertung menschlichen Handelns“ (Quelle: Wikipedia). Dazu passt in Verbindung zu KI in Projekten folgende Textpassage:

„In vielen Projektorganisationen wird derzeit intensiv darüber diskutiert, welche Kompetenzen Führungskräfte in einer zunehmend digitalisierten und KI-gestützten Welt benötigen. Technisches Wissen bleibt wichtig – doch ebenso entscheidend wird die Fähigkeit, in komplexen, oft widersprüchlichen Entscheidungssituationen eine ethisch fundierte Haltung einzunehmen. Ethische Kompetenz zeigt sich nicht nur in der Einhaltung von Regeln, sondern vor allem in der Art, wie Projektleitende mit Unsicherheit, Zielkonflikten und Verantwortung umgehen“ (Bühler, A. 2025, in Projektmanagement Aktuell 4/2025).

Unsere Idee ist daher, eine immer stärkere eigene Digitale Souveränität – auch bei KI-Modellen. Nextcloud, LocalAI, Ollama und Langflow auf unseren Servern ermöglichen es uns, geeigneter KI-Modelle zu nutzen, wobei alle generierten Daten auf unseren Servern bleiben. Die verschiedenen KI-Modelle können farbig im Sinne einer Ethical AI bewertet werden::

Quelle: https://nextcloud.com/de/blog/nextcloud-ethical-ai-rating/