Veröffentlicht am

Open Source AI: Das Modell Olmo 1B auf dem eigenen Laptop nutzen (Edge Computing)

https://allenai.org/olmo

Das Allen Institute Ai2 ist eine non-profit Organisation mit Sitz in Seattle. Sie hat sich das Ziel gesetzt, Open Source AI Modelle für allgemeine oder spezielle Anwendnungen bereitzustellen. Die Modelle sind also keine Open Weight, sondern wirkliche Open Source Modelle.

In diesem Beitrag soll es um das Olmo-Modell 1B gehen, das so klein und dennoch leistungsstark ist, dass es auf einem handelsüblichen Laptop laufen kann (Edge Computing). Da ich die Ollama-App auf meinem Laptop installiert habe, konnte ich das Modell mit dem folgenden Befehl (cmd) unter Windows 11 herunterladen. Der Vorteil einer aktuellen Version der Ollama-App ist, dass diese schon GGUF-Modelle nutzen kann:

ollama run hf.co/NikolayKozloff/AMD-OLMo-1B-Q8_0-GGUF:latest

Nachdem der Download abgeschlossen war, wurde mir das Modell in der Ollama-App sofort in den Auswahlmöglichkeiten angezeigt – allerdings als Olmo 2 (Abbildung). Der Grund liegt in der Architekturverwandtschaft der Modelle und der Benennung bei Huggingface. Ai2 hat das Modell Olmo 1B auf Basis von Olmo 2 für das Edge Computing optimiert.

Screenshot aus der Ollama-App mit OLMo2 (OLMo 1B) und einer Abfrage zu Open User Innovation

Meine Frage nach Open User Innovation wurde zügig und gut beantwortet. Es ist schon erstaunlich, dass so kleine Modelle auf dem eigenen Laptop problemlos laufen und auch noch brauchbare Antworten liefern.

Gerade für Kleine und Mittlere Unternehmen (KMU) stellen Open Source KI-Modelle eine gute Basis dar, unabhängiger von den großen KI-Modellen zu werden, denn für viele Anwendungen reichen auch kleine Modelle aus. Gerade wenn man diese dann noch mit den eigenen Daten nutzt und diese dann auf dem eigenen Laptop bleiben – ein unschätzbarer Schritt in Richtung der Digitalen Souveränität. Siehe dazu auch

Die neue Olmo3 Modell-Familie

Open Source AI: Molmo 2 mit Schwerpunkt auf Videos

Mit FlexOlmo Trainingsmodelle kollaborativ erarbeiten – eine interessante Idee

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Präsentationen ein.

Veröffentlicht am

Open Source AI: Wie kann ich einen einfachen Workflow in der Langflow App anlegen?

In der eigenen Langflow App angelgter einfacher Workflow

In dem Blogbeitrag Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen hatte ich gezeigt, wie man mit Hilfe der Ollama App, Open Source KI-Modelle (oder Open Weight KI-Modelle) auf dem eigenen Laptop installieren und nutzen kann. Da es in der Zwischenzeit viele kleine und leistungsstarke KI-Modelle (SLM: Small Language Models gibt), ist dieser Ansatz gerade für Kleinstunternehmen wirtschaftlich interessant.

Wenn es im nächsten Schritt darum geht, solche Modelle in eigene KI-Agenten einzubinden, bietet sich die auf dem eigenen Laptop installierte Langflow App an – eine Alternative ist LM Studio. Die Ollama App und die Langflow App sind natürlich Open Source.

In der Abbildung oben ist ein einfacher Workflow mit den Knoten Chat Input, Language Model und Chat Output dargestellt (rot umrahmt). Diese Knoten konnte ich per Drag & Drop in die Arbeitsfläche ziehen. Dabei wird farbig angezeigt, welche Verknüpfungen möglich sind.

Bei dem Language Model habe ich in der auf meinem Laptop installierten Ollama App ein Modell ausgesucht – in meinem Fall ist es Qwen 2.5. Es stehen hier alle in der Ollama App installierten KI-Modelle zur Verfügung. Wir testen mit geeigneten Open Weight, bzw. Open Source Modellen. Siehe dazu auch Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen.

Diesen kleinen Workflow kann ich anschließend im Playground (Button rechts oben) testen. Als Chat Input habe ich dort eine Frage zu Eric von Hippel gestellt, die dann mit dem hinterlegten KI-Modell schnell beantwortet wurde – obwohl ich dazu einen relativ alten Laptop genutzt habe. Die folgende Abbildung zeigt das gute Ergebnis im Playground.

Ergebnis im Playground

Es ist also mit Ollama App und der Langflow App auf dem eigenen Laptop möglich, kleine KI-Modelle (Open Source, Open Weight) zu nutzen, und sogar kleine Workflows abzubilden. Dabei bleiben alle generierten Daten auf meinem Laptop. Das ist besonders wichtig, wenn ich nicht nur einen einfachen Workflow, abbilden, sondern KI-Agenten entwickeln möchte, die bei der Bearbeitung auch eigene Daten aus unserer Nextcloud mit berücksichtigen sollen – ganz im Sinne einer Digitalen Souveränität.

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.

Veröffentlicht am

Künstliche Intelligenz: Open Source Modelle mit der Ollama-App auf dem eigenen Desktop

Eigener Screenshot – (c) Dr. Robert Freund

Ollama ist eine Open Source Software, mit der man kleine und größere Sprachmodelle (Small Language Models und Large Language Models testen kann.

(1) Zunächst natürlich auf Ollama selbst nach einem entsprechenden Login.

(2) Da Ollama Open Source ist, kann es auch auf dem eigenen Server installiert werden. Wie Sie wissen, haben wir das auch schon ausprobiert. Informationen dazu finden Sie in unseren verschiedenen Blogbeiträgen dazu.

(3) Es ist möglich, Ollama auf dem eigenen Desktop zu installieren und geeignete Modelle zu testen. In den Settings ist der Login bei Ollama zu hinterlegen.

Die Abbildung zeigt den Screenshot mit der Startseite auf meinem Desktop. Wie gewohnt kann ein geeigneter Prompt eingegeben werden.

Spannend ist, dass wir bei jedem neuen Chat aus verschiedenen installierten Modellen auswählen können. Bei dem Beispiel haben wir MISTRAL ausgewählt. Über das „+“-Zeichen können sogar Dateien mit hochgeladen werden.

Auch an der Stelle wird wieder deutlich, wie wichtig es ist, Künstliche Intelligenz mit transparenten Open Source Modellen auf der eigenen Infrastruktur zu betreiben. Ganz im Sinne einer Digitalen Souveränität.

Es war anschließend interessant zu sehen, wie schnell die Antwort über Ollama und MISTRAL erstellt wurde. Auch die Qualität der Antwort war gut. Hier der entsprechende Screenshot:

Ergebnis über MISTRAL (c) Dr. Robert reund
Veröffentlicht am

KI-Agenten per Drag & Drop: Langflow for Desktop

https://www.langflow.org/desktop

Langflow ist Open Source basiert und bietet die Möglichkeit, einfache Flows oder auch komplexere KI-Agenten per Drag & Drop zu erstellen.

„Langflow is a powerful tool to build and deploy AI agents and MCP servers. It comes with batteries included and supports all major LLMs, vector databases and a growing library of AI tools“ (Langflow-Website).

Wir haben Langflow auf einem Server installiert, und einige Tests dazu durchgeführt – inkl. der Nutzung von Ollama. Unser Ziel ist es mit einfachen Tools, die Open Source basiert sind und kleine, frei verfügbare Trainingsmodelle (Small Language Models) zu nutzen. Siehe dazu unsere Blogbeiträge zu Langflow.

In diese Richtung geht nun auch die Möglichkeit, Langflow auf dem eigenen Desktop zu nutzen. Dazu kann man sich auf dieser Website die App herunterladen und installieren.

Der Vorteil liegt auf der Hand: Es ist kein Server erforderlich, auf dem Langflow installiert werden muss. Der Nachteil ist allerdings auch klar: Je nach Hardware-Ausstattung des eigenen Desktops sind die Möglichkeiten zur Nutzung größerer Modelle (Large Language Models) noch begrenzt. Wir werden es auf jeden Fall einmal ausprobieren.

Veröffentlicht am

Digitale Souveränität: Nextcloud Workflow

Screenshot: Nextcloud Workflow auf unserem Server

Mit Nextcloud haben wir eine Open Source Software auf unserem Server installiert, die je nach Bedarf mit Hilfe von Apps (Anwendungen) erweitert werden kann. Für die Verbesserung der Produktivität gibt es zunächst einmal die App Flow, mit der einfache Abläufe automatisiert werden können.

Sind die Ansprüche etwas weitreichender, bietet sich die App Workflow an, die wir auch installiert haben. Die App basiert auf Windmill und ermöglicht es uns, Abläufe (Workflows) per bekannter Symbole darzustellen. In der Abbildung sind links die zwei einfachen Symbole „Input“ und „Output“ zu sehen. Rechts daneben werden die Details zu den einzelnen Button und Schritte angezeigt – das Prinzip dürfte klar sein, Einzelheiten zu den vielfältigen Optionen erspare ich mir daher.

Es ist immer wieder erstaunlich, wie schnell viele Apps auf Open Source Basis zur Verfügung stehen, und je nach Bedarf genutzt werden können. Aktuell ist die Anzahl der generierbaren Workflows über die freie Version von Nextcloud noch begrenzt. Alternativ könnten wir auch Windmill direkt auf unserem Server installieren: Self-host Windmill. Ähnlich haben wir es schon mit OpenProject gemacht. Wobei es dann aus der Anwendung heraus möglich ist, auf Nextcloud-Daten zuzugreifen.

Ob wir das machen hängt davon ab, ob wir mit Workflow in Zukunft weiterarbeiten, oder alle Arten von Flows direkt in Langflow abbilden, da wir dort den direkten Übergang zu KI-Agenten haben. Alle Open Source Anwendungen laufen auf unseren Servern, sodass alle generierten Daten auch bei uns bleiben. Ganz im sinne einer Digitalen Souveränität.

Veröffentlicht am

Nextcloud Collective App: Ein Wiki für die kollaborative Zusammenarbeit

Screenshot von unserer Nextcloud: Beispielseite einer Zusammenarbeit über die Collective App

Die Collective App haben wir in unserer Nextcloud (Open Source) aktiviert. Dabei wird das entsprechende Symbol im oberen Bereich angezeigt. Das Aktivieren oder auch Deaktivieren von Apps je nach Bedarf, ist ein sehr komfortable uns einfache Möglichkeit, mit Nextcloud zu arbeiten.

In der Abbildung ist beispielhaft ein Ausschnitt aus einem Arbeitsbereich in der Collective App zu sehen, den ich für das Thema Agentic AI Company angelegt habe. Die Navigation ist klassisch auf der linken Seite zu finden. Die Inhalte werden dann je Seite angezeigt (hier für Kapitel 2.1) und können dann von allen bearbeitet werden, die ich dem Bereich zugeordnet habe, und die entsprechende Berechtigung haben.

In dem Kapitel 2.1 thematisiere ich beispielsweise die Vorteile und Nachteile von einer Cloud AI im Vergleich zu einer LocalAI. Hier sammeln wir gemeinsam Informationen, Dateien, Links, Quellen usw.. Das können externe Inhalte sein, oder auch direkt Inhalte, die in unserer Nextcloud gespeichert sind Alle Änderungen werden dokumentiert und können nachverfolgt werden. Weiterhin können wir überall den Nextcloud Assistenten aufrufen und nutzen.

Der Vorteil: Alle Dateien und alle Transaktionen bleiben alle auf unseren Servern. Das ist für uns ein wichtiges Kriterium auf dem Weg zu einer (wirklichen) Digitalen Souveränität.

Veröffentlicht am

Nextcloud-Assistent – Lokales LLM als Assistent in Nextcloud integriert

Nextcloud ist eine Open Source Anwendung, die durch verschiedene Apps an die individuellen Anforderungen angepasst werden kann. Damit die Arbeit noch zeitgemäßer, und somit KI-unterstützt durchgeführt werden kann, wurde 2023 die erste Version des Nextcloud Assistenten veröffentlicht. Wir haben nun die Version 1.03 vom Dezember 2023 bei uns problemlos installiert.

Das Symbol für den Nextcloud Assistenten erscheint in der oberen Leiste des Dashboards und in allen Apps, die in unserer Nextcloud verwendet werden. Wie in der Abbildung zu sehen ist, können dabei Context Chat, Free Prompt oder Generate Headline aufgerufen werden. Weitere Funktionen, die sich hinter den drei Punkten verbergen sind Summarize und Reformulate.

Es ist wirklich erstaunlich, wie dynamisch sich Nextcloud entwickelt und die vielfältigen KI-Möglichkeiten integriert – alles Open Source.

Veröffentlicht am

Ein einfaches Taskboard in Nextcloud Deck

Screenshot von Nextcloud Deck auf unserem Server

In der auf unseren Servern installierten Cloudanwendung NEXTCLOUD ist die App DECK enthalten, mit der man einfache (oder auch komplexere) Boards erstellen kann. Die Abbildung zeigt den Stand eines Boards, das ich für einen 2-tägigen Workshop „Agiles Projektmanagement“ erstellt habe.

In der linken Spalte „Priorisiertes Backlog“ sind die Themen aufgelistet, die nach und nach abgearbeitet werden sollen. Die nächste Spalte „In Arbeit“ zeigt, was aktuell bearbeitet wird, und die rechte Spalte „Done“ enthält die bearbeiteten Tasks. Ist Task 3 bearbeitet, wird es in die rechte Spalte gezogen, und Task 4 in die Spalte „In Arbeit“ gezogen (Pull System). Dieses einfache Borad kann die Vorstufe für ein KANBAN Board sein, das dann zusätzlich die Begrenzung der parallel zu bearbeitenden Tasks enthält: Work in Progress (WIP).

In den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK) gehen wir auf solche Themen ein. Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Nextcloud TALK: Leistungsfähiges Open Source Webkonferenzsystem für die Zusammenarbeit in Projekten nutzen

Bildschirm NEXTCLOUD TALK mit Testteilnehmer – ohne eingeschaltete Kameras

In den von uns entwickelten Blended Learning Lehrgängen nutzen wir neben Moodle als Lernmanagementsystem noch weitere Anwendungen wie z.B. OpenProject und Nextcloud. Unser Ziel ist eine projektorientierte Kollaborationsplattform auf Open Source Basis, bei der die Daten auf unseren Severn bleiben (Datenschutz). Das Ziel ist der souveräne Arbeitsplatz.

Nextcloud bietet hier für Projektteams vielfältige Möglichkeiten, ihre Arbeit zu organisieren – beispielsweise mit der App DECK in Task Boards, bzw. KANBAN Boards. Weiterhin gibt es auch eine umfangreiche Dokumenten-/Ordnerstruktur, in der die Teilnehmer Dateien kollaborativ (Nextcloud mit Collabora Online) im Browser bearbeiten können.

Als nächsten Schritt bereiten wir für die Teilnehmer die Nutzung von NEXTCLOUD TALK vor. Hier können Webkonferenzen organisiert, durchgeführt und dokumentiert werden. Dabei ist es auch möglich in Break out Rooms zu arbeiten, und auf die Dateien der Nextcloud zuzugreifen. Die Abbildung zeigt einen Ausschnitt aus der TALK Oberfläche. Natürlich können noch mehr Teilnehmer angezeigt werden – die Kameras waren hier ausgeschaltet. Der Chat-Bereich auf der rechten Seite bietet weitere Austauschmöglichkeiten.

Der Vorteil von NEXTCLOUD TALK ist die Integration mit anderen Anwendungen (Kollaborationsplattform, Souveräner Arbeitsplatz) und der Datenschutz, der in Organisationen immer wichtiger wird – auch in der Projektarbeit.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Nutzen Sie die Moodle App für unsere Weiterbildungsangebote

Da wir ein responsives Webdesign verwenden, passt sich das Weblayout Ihren genutzten technischen Geräten an. Darüber hinaus können Sie als Teilnehmer mit der Moodle App auch direkt bequem auf die Inhalte unserer Lehrgänge zugreifen. Das Bild zeigt die Anmeldeseite in der Moodle App, wenn Sie die Seite unserer Lernplattform hinterlegt haben. Die Zugangsdaten erhalten Sie spätestens am ersten Lehrgangstag – meistens aber auch schon vorab.

Informationen zu unseren Weiterbildungsangeboten, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.