Veröffentlicht am

Digitale Souveränität: Mit Langflow einen einfachen Flow mit Drag & Drop erstellen

Eigener Screenshot vom Langflow-Arbeitsbereich, inkl. der Navigation auf der linken Seite

Langflow haben wir als Open Source Anwendung auf unseren Servern installiert. Mit Langflow ist es möglich, Flows und Agenten zu erstellen – und zwar einfach mit Drag&Drop. Na ja, auch wenn es eine gute Dokumentation und viele Videos zu Langflow gibt, steckt der “Teufel wie immer im Detail”.

Wenn man mit Langflow startet ist es erst einmal gut, die Beispiele aus den Dokumentationen nachzuvollziehen. Ich habe also zunächst damit begonnen, einen Flow zu erstellen. Der Flow unterscheidet sich von Agenten, auf die ich in den nächsten Wochen ausführlicher eingehen werde.

Wie in der Abbildung zu sehen ist, gibt es einen Inputbereich, das Large Language Model (LLM) oder auch ein kleineres Modell, ein Small Language Model (SLM). Standardmäßig sind die Beispiele von Langflow darauf ausgerichtet, dass man OpenAI mit einem entsprechenden API-Key verwendet. Den haben wir zu Vergleichszwecken zwar, doch ist es unser Ziel, alles mit Open Source abzubilden – und OpenAI mit ChatGPT (und andere) sind eben kein Open Source AI.

Um das zu erreichen, haben wir Ollama auf unseren Servern installiert. In der Abbildung oben ist das entsprechende Feld im Arbeitsbereich zu sehe,n. Meine lokale Adresse für die in Ollama hinterlegten Modelle ist rot umrandet unkenntlich gemacht. Unter “Model Name” können wir verschiedene Modelle auswählen. In dem Beispiel ist es custom-llama.3.2:3B. Sobald Input, Modell und Output verbunden sind, kann im Playground (Botton oben rechts) geprüft werden, ob alles funktioniert. Das Ergebnis sieht so aus:

Screenshot vom Playground: Ergebnis eines einfachen Flows in Langflow

Es kam mir jetzt nicht darauf an, komplizierte oder komplexe Fragen zu klären, sondern überhaupt zu testen, ob der einfache Flow funktioniert. Siehe da: Es hat geklappt!

Alle Anwendungen (Ollama und Langflow) sind Open Source und auf unseren Servern installiert. Alle Daten bleiben auf unseren Servern. Wieder ein Schritt auf dem Weg zur Digitalen Souveränität.

Veröffentlicht am

Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Um digital souveräner zu werden, haben wir seit einiger Zeit Nextcloud auf einem eigenen Server installiert – aktuell in der Version 32. Das ist natürlich erst der erste Schritt, auf den nun weitere folgen – gerade wenn es um Künstliche Intelligenz geht.

Damit wir auch bei der Nutzung von Künstlicher Intelligenz digital souverän bleiben, haben wir zusätzlich LocalAI installiert. Dort ist es möglich, eine Vielzahl von Modellen zu testen und auszuwählen. In der folgenden Abbildung ist zu sehen, dass wir das KI-Modell llama-3.2-3B-instruct:q4_k_m für einen Chat ausgewählt haben. In der Zeile “Send a massage” wurde der Prompt “Nenne wichtige Schritte im Innovationsprozess” eingegeben. Der Text wird anschließend blau hinterlegt angezeigt. In dem grünen Feld ist ein Teil der Antwort des KI-Modells zu sehen.

LocalAI auf unserem Server: Ein Modell für den Chat ausgewählt

Im nächsten Schritt geht es darum, das gleiche KI-Modell im Nextcloud Assistant zu hinterlegen. Der folgende Screenshot zeigt das Feld (rot hervorgehoben). An dieser Stelle werden alle in unserer LocalAI hinterlegten Modelle zur Auswahl angezeigt, sodass wir durchaus variieren könnten. Ähnliche Einstellungen gibt es auch für andere Funktionen des Nextcloud Assistant.

Screenshot: Auswahl des Modells für den Nextcloud Assistenten in unserer Nextcloud – auf unserem Server

Abschließend wollen wir natürlich auch zeigen, wie die Nutzung des hinterlegten KI-Modells in dem schon angesprochenen Nextcloud Assistant aussieht. Die folgende Abbildung zeigt den Nextcloud Assistant in unserer Nextcloud mit seinen verschiedenen Möglichkeiten – eine davon ist Chat mit KI. Hier haben wir den gleichen Prompt eingegeben, den wir schon beim Test auf LocalAI verwendet hatten (Siehe oben).

Screenshot von dem Nextcloud Assistant mit der Funktion Chat mit KI und der Antwort auf den eigegebenen Prompt

Der Prompt ist auf der linken Seite zu erkennen, die Antwort des KI-Modells (llama-3.2-3B-instruct:q4_k_m) ist rechts daneben wieder auszugsweise zu sehen. Weitere “Unterhaltungen” können erstellt und bearbeitet werden.

Das Zusammenspiel der einzelnen Komponenten funktioniert gut. Obwohl wir noch keine speziellen KI-Server hinterlegt haben, sind die Antwortzeiten akzeptabel. Unser Ziel ist es, mit wenig Aufwand KI-Leistungen in Nextcloud zu integrieren. Dabei spielen auch kleine, spezielle KI-Modelle eine Rolle, die wenig Rechenkapazität benötigen.

Alles natürlich Open Source, wobei alle Daten auf unseren Servern bleiben.

Wir werden nun immer mehr kleine, mittlere und große KI-Modelle und Funktionen im Nextcloud Assistant testen. Es wird spanned sein zu sehen, wie dynamisch diese Entwicklungen von der Open Source Community weiterentwickelt werden.

Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Bitkom: Open Source Monitor 2023

In den letzten Jahrzehnten haben wir uns in Europa/Deutschland in vielen Bereichen von verschiedenen Regionen der Welt abhängig gemacht, die uns jetzt Schwierigkeiten bereiten. Damit meine ich zunächst die offensichtlichen Abhängigkeiten von russischem Gas, den Ölimporten aus Krisenregionen, aber auch von den globalen Lieferketten.

Hinzu kommt aktuell eine Abhängigkeit, die etwas anders gelagert ist. Ich meine hier die digitale Abhängigkeit von den US-amerikanischen Tech-Konzernen. Siehe dazu beispielhaft Warum geschlossene Softwaresysteme auf Dauer viel Zeit und viel Geld kosten. Erste Anzeichen für mögliche Konflikte gab es schon mit der Einführung der DSGVO (Datenschutz-Richtlinie), die manche Tech-Konzerne nicht so ganz einhalten woll(t)en. In diesen Diskussionen, und in den Diskussionen über Künstliche Intelligenz ist vielen Entscheidungsträgern auf der politischen, aber auch unternehmerischen Ebene, klar geworden, dass die Digitale Souveränität ein wichtiges Gut ist.

Es ist daher nicht verwunderlich, dass der Trend zu immer mehr Open Source Software (OSS) nun auch im Open Source Monitor 2023 der Bitkom in einer Studie belegt wurde. Dr. Frank Termer, Bereichsleiter Software Bitkom, fasst die Zukunfstperspektiven von Open Source Software (OSS) in Deutschland wie folgt zusammen:

“Die Zukunftsperspektiven von OSS in Deutschland sind vielversprechend. Immer mehr Unternehmen und Organisationen erkennen die Vorteile von OSS-Lösungen und wissen diese zu nutzen. Dabei agieren sie nicht nur als reine »Konsumenten« von OSS, sondern erkennen ihre Verantwortung für das Open-Source-Ökosystem und bringen sich durch aktive Mitarbeit und inhaltliche Beiträge in die Open-SourceCommunity ein. Insbesondere die öffentliche Hand hat diesen Weg eingeschlagen und bekennt sich zunehmend zu ihrer Verantwortung, aktiver Teil der OSS-Community zu sein, um diese weiterzuentwickeln und eigene Vorteile zu realisieren. Damit trägt OSS auch zur Stärkung der digitalen Souveränität bei, da europäische Unternehmen und Institutionen die Kontrolle über ihre digitalen Infrastrukturen behalten oder wiedererlangen wollen. Sie ermöglicht kleinen und mittleren Unternehmen den Einsatz kostengünstiger und dennoch leistungsfähiger Lösungen und stärkt damit ihre Wettbewerbsfähigkeit. Diese Entwicklung wird sich mit Sicherheit weiter fortsetzen” (ebd.).

Wir arbeiten seit einiger Zeit daran, einen Souveränen Arbeitsplatz auf Open Source Basis gerade in Bezug auf das Thema “Projektmanagement” zu entwickeln. Siehe dazu Sovereign Workplace: Der unabhängige Arbeitsplatz auf integrierter Open Source Basis.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Veröffentlicht am

Open Source Software (OSS)? Warum das denn?

Viele nutzen schon Software, die frei verfügbar ist, und als Open Source Software einen Siegeszug sonder gleichen angetreten hat. Dabei stellen sich vielfältige Fragen: Warum arbeiten Menschen an Open Source Projekten, ohne dafür eine monetäre Entlohnung zu erhalten? Wie kann ich als Einzelner Open Source Programme nutzen? Welche Möglichkeiten haben auch Unternehmen/Organisationen, Open Source Software zu nutzen? Welche rechtlichen Fragen stellen sich? … und natürlich: Wie kann jemand mit Open Source Software auch noch Geld verdienen?

Emma Romano hat mich am 11.05.2020 per Mail auf den Beitrag Understanding Open Source Software, and How It Makes You Money Online hingewiesen, der von Ezequiel Bruni am 17.05.2020 veröffentlicht wurde. Darin beschreibt er sehr anschaulich die Entwicklung und die Hintergründe von Open Source Software. Was wichtig ist: You Own Your Data!

Wir nutzen beispielsweise mit Moodle als Lern-Management-System, BigBlueButton Videokonferenzsystem (Plug-in in Moodle) und WordPress für unseren Blog gleich drei bekannte Open Source Programme. Diese Programme zu installieren, anzupassen und für die verschiedenen Zwecke zu nutzen ist manchmal einfach, und manchmal aufwändig. In solchen Fällen gibt es natürlich auch frei verfügbare Foren, in denen man Hilfe bekommt, doch ist es manchmal auch ratsam eine professionelle Hilfe zu nutzen. Gerade an dieser Stelle gibt es viele Chancen, sich auf dem Markt zu positionieren.

Wir werden häufig darauf angesprochen, wie wir Moodle oder auch WordPress nutzen. Aktuell erhalten wir Anfragen, wie BigBlueButton in Moodle integriert und genutzt werden kann, usw, usw. Das sind nur einige Beispiele dafür, dass es sich lohnt, Open Source Software zu nutzen und sein Wissen weiterzugeben.