In dem Blogbeitrag Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen hatte ich gezeigt, wie man mit Hilfe der Ollama App, Open Source KI-Modelle (oder Open Weight KI-Modelle) auf dem eigenen Laptop installieren und nutzen kann. Da es in der Zwischenzeit viele kleine und leistungsstarke KI-Modelle (SLM: Small Language Models gibt), ist dieser Ansatz gerade für Kleinstunternehmen wirtschaftlich interessant.
Wenn es im nächsten Schritt darum geht, solche Modelle in eigene KI-Agenten einzubinden, bietet sich die auf dem eigenen Laptop installierte Langflow App an – eine Alternative ist LM Studio. Die Ollama App und die Langflow App sind natürlich Open Source.
In der Abbildung oben ist ein einfacher Workflow mit den Knoten Chat Input, Language Model und Chat Output dargestellt (rot umrahmt). Diese Knoten konnte ich per Drag & Drop in die Arbeitsfläche ziehen. Dabei wird farbig angezeigt, welche Verknüpfungen möglich sind.
Bei dem Language Model habe ich in der auf meinem Laptop installierten Ollama App ein Modell ausgesucht – in meinem Fall ist es Qwen 2.5. Es stehen hier alle in der Ollama App installierten KI-Modelle zur Verfügung. Wir testen mit geeigneten Open Weight, bzw. Open Source Modellen. Siehe dazu auch Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen.
Diesen kleinen Workflow kann ich anschließend im Playground (Button rechts oben) testen. Als Chat Input habe ich dort eine Frage zu Eric von Hippel gestellt, die dann mit dem hinterlegten KI-Modell schnell beantwortet wurde – obwohl ich dazu einen relativ alten Laptop genutzt habe. Die folgende Abbildung zeigt das gute Ergebnis im Playground.
Es ist also mit Ollama App und der Langflow App auf dem eigenen Laptop möglich, kleine KI-Modelle (Open Source, Open Weight) zu nutzen, und sogar kleine Workflows abzubilden. Dabei bleiben alle generierten Daten auf meinem Laptop. Das ist besonders wichtig, wenn ich nicht nur einen einfachen Workflow, abbilden, sondern KI-Agenten entwickeln möchte, die bei der Bearbeitung auch eigene Daten aus unserer Nextcloud mit berücksichtigen sollen – ganz im Sinne einer Digitalen Souveränität.
Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.
