Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Künstliche Intelligenz (KI oder AI: Artificial Intelligence) einzusetzen ist heute in vielen Organisationen schon Standard. Dabei nutzen immer noch viele die von den kommerziellen Anbietern angebotenen KI-Systeme. Dass das kritisch sein kann, habe ich schon in vielen Blogbeiträgen erläutert.

Wir wollen einen anderen Weg, aufzeigen, der die Digitale Souveränität für Organisationen und Privatpersonen ermöglicht: Open Source AI und eine Open Source Kollaborationsplattform. Siehe dazu Von der digitalen Abhängigkeit zur digitalen Souveränität.

Im ersten Schritt haben wir unsere NEXTCLOUD über einen ASSISTENTEN mit Künstlicher Intelligenz verknüpft, wobei alle Daten auf unserem Server bleiben. Siehe LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Im zweiten Schritt haben wir für die Entwicklung von AI-Agenten Langflow (Open Source) auf unserem Server installiert. Dabei ist es möglich, ChatGPT von OpenAI, oder über Ollama sehr viele unterschiedliche Open Source Modelle zu nutzen. Wir wollen natürlich den zweiten Weg gehen und haben daher Ollama auf unserem Server installiert.

Ollama Startseite auf unserem Server: Eigener Screenshot

In der Abbildung ist zu sehen, dass wir für den ersten Test zunächst vier Modelle installiert haben, inkl. DeepSeek-R1 und LLama 3.2. Demnächst werden wir noch weitere Modelle installieren, die wir dann in Langflow integrieren, um AI-Agenten zu entwickeln. In den kommenden Wochen werden wir über die Erfahrungen berichten.

AI Agents: Langflow (Open Source) auf unserem Server installiert

Das nächste große Ding in der KI-Entwicklung ist der Einsatz von KI-Agenten (AI Agents). Wie schon in vielen Blogbeiträgen erwähnt, gehen wir auch hier den Weg dafür Open Source zu verwenden. Bei der Suche nach entsprechenden Möglichkeiten bin ich recht schnell auf Langflow gestoßen. Die Vorteile lagen aus meiner Sicht auf der Hand:

(1) Komponenten können per Drag&Drop zusammengestellt werden.
(2) Langflow ist Open Source und kann auf unserem eigenen Server installiert werden. Alle Daten bleiben somit auf unserem Server.

Die Abbildung zeigt einen Screenshot von Langflow – installiert auf unserem Server.

Auf der linken Seite der Abbildung sind viele verschiedene Komponenten zu sehen, die in den grau hinterlegten Bereich hineingezogen werden können. Per Drag&Drop können INPUT-Komponenten und OUTPUT-Format für ein KI-Modell zusammengestellt – konfiguriert – werden. Wie weiterhin zu erkennen, ist standardmäßig OpenAI als KI-Modell hinterlegt. Für die Nutzung wird der entsprechende API-Schlüssel eingegeben.

Mein Anspruch an KI-Agenten ist allerdings, dass ich nicht OpenAI mit ChatGPT nutzen kann, sondern auf unserem Server verfügbare Trainingsdaten von Large Language Models (LLM) oder Small Language Models (SML), die selbst auch Open Source AI sind. Genau diesen Knackpunkt haben wir auch gelöst. Weitere Informationen dazu gibt es in einem der nächsten Blogbeiträge. Siehe in der Zwischenzeit auch

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Digitale Souveränität: Europa, USA und China im Vergleich

LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten

LocalAI: Chat mit KI über den Nextcloud Assistenten

Wie Sie wissen, haben wir eine lokale KI (LokalKI) oder LocalAI installiert. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In unserer Kollaborationsplattform Nextcloud (Open Source) kann an jeder beliebigen Stelle der Nextcloud-Assistent aufgerufen werden. Wie in der Abbildung zu sehen ist, ergeben sich hier viele Möglichkeiten, die auch mit lokalen Large Language Models (LLM) verknüpft sind.

In dem Beispiel ist CHAT MIT KI angewählt. Diese Funktion ist in unserer LocalAI mit Llama 3.2 (LLM) verknüpft.

Als Prompt habe ich zum Test einfach “Erstelle eine Liste mit Stakeholdern für das Projekt Website” eingegeben.

Es kam zu einer Nachfrage, die ich beantwortet habe. Anschließend wurde eine durchaus brauchbare Liste möglicher Stakeholder für ein Projekt “Website” ausgegeben.

Nach verschiedenen kleinen Einstellungen am Server waren die Antwortzeiten sehr gut.

Der große Vorteil bei dieser Arbeitsweise ist allerdings: Alle Daten bleiben auf unserem Server – LocalAI eben.

Open Source: Nextcloud-Assistent und Künstliche Intelligenz (KI)

Bei den verschiedenen kommerziellen Anwendungen ist es fast schon Standard, dass Assistenten eingeblendet und angewendet werden, um Künstliche Intelligenz in den jeweiligen Prozess oder Task zu nutzen. Dabei ist immer noch weitgehend unklar, welche Trainingsdaten bei den verschiedenen Trainingsdatenbanken (LLM: Large Language Models) genutzt werden, und was beispielsweise mit den jeweils eigenen Eingaben (Prompts) passiert. Nicht zuletzt werden sich die kommerziellen Anbieter die verschiedenen Angebote mittelfristig auch gut bezahlen lassen.

Es kann daher nützlich sein, Open Source AI zu nutzen.

Praktisch kann das mit NEXTCLOUD und dem darin enthaltenen Nextcloud-Assistenten umgesetzt werden. Jede Funktion (Abbildung) kann man mit einer Traingsdatenbank verbinden, die wirklich transparent und Open Source ist. Solche Trainingsdatenbanken stehen beispielsweise bei Hugging Face zur Verfügung. Darüber hinaus bleiben alle Daten auf dem eigenen Server – ein heute unschätzbarer Wert . Wir werden diesen Weg weitergehen und in Zukunft dazu noch verschiedene Blogbeiträge veröffentlichen. Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Projektmanagement: OpenProject Update auf Version 14.2.1

Im Projektmanagement geht es natürlich auch um die Frage, welche Tools zur besseren Kollaboration in einem Projekt, bei mehreren Projekten (Programme/Portfolios), und für verschiedene Vorgehensmodelle – wie klassisches Projektmanagement, Agiles Projektmanagement und Hybrides Projektmanagement – geeignet ist.

Es wird hier schon deutlich, dass es nicht ein Tool für die ganzen Anforderungen gibt, sondern dass es verschiedene Tools sein müssen, die im Zusammenspiel eine projektorientierte Kollaborationsplattform ergeben.

Wie Sie als Leser unseres blog wissen, setzen wir auf das Konzept des Souveränen Arbeitsplatzes (Sovereign Workplace), der auf frei verfügbarer Open Source Software beruht, und bei dem die generierten daten alle auf dem eigenen Server bleiben.

Einen Anwendung in diesem Gesamtkonzept ist OPENPROJECT, das die genannten Anforderungen alle erfüllt, und mit anderen Open Source Anwendungen (wie z.B. NEXTCLOUD) über Schnittstellen recht einfach verbunden werden kann. In unserem blog haben wir dazu verschiedene Beiträge eingestellt die zeigen, wie vielfältig OPENPROJECT auch für verschiedene Vorgehensmodelle eingesetzt werden kann.

Selbstverständlich wird auch OPENPROJECT immer wieder upgedated – so auch jetzt wieder. Aktuell haben wir die Version 14.2.1, das am 02.07.2024 veröffentlicht wurde.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Open Source: Nextcloud und CollaboraOnline Update

Screenshot von unserer Nextcloud-Startseite

Wir nutzen schon seit vielen Jahren verschiedene Open Source Anwendungen. Als Lernmanagement-System verwenden wir MOODLE, als Videokonferenzsystem BIGBLUEBUTTON, als Projektmanagement-Software OPENPROJECT, für Cloud-Anwendungen NEXTCLOUD, für die kollaborative Bearbeitung von Dateien COLLABORAONLINE, und als Anwendung für unseren Blog WORDPRESS.

Einer der wichtigsten Gründe für Open Source Anwendungen ist, dass dabei die Daten unserer Nutzer auf unseren Servern bleiben.

Natürlich müssen alle Anwendungen immer wieder upgedated werden. Bei NEXTCLOUD haben wir nun die Version 29.0.3 und bei COLLABORAONLINE die Version 24.04.5.1-1 installiert, wodurch es zu mehr Stabilität bei der Nutzung kommt und auch zu neuen, verbesserten Funktionen. Auch im zweiten Halbjahr 2024 werden wir unseren Teilnehmern die verschiedenen Möglichkeiten zur kollaborativen Projektarbeit anbieten.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, die wir an verschiedenen Standorten anbieten. Informationen zu unseren Blended Learning Lehrgängen und zu aktuellen Terminen finden Sie auf unserer Lernplattform.

,

Künstliche Intelligenz (KI): Lock-in und Switching Costs

In der Vergangenheit wurden z.B. im Projektmanagement nach und nach immer mehr digitale Tools verwendet. Zunächst waren das Anwendungen aus dem Office-Paket, dann kam Microsoft Project hinzu und in der Zwischenzeit gibt es von Microsoft eine integrierte Kollaborationsplattform (Sharepoint, Microsoft Project Online, Teams, Office Apps etc.), die das Arbeiten in Projekten effektiver/produktiver macht. Der nächste Booster wird Künstliche Intelligenz (KI) sein, die über OpenAI als KI-Assistent Projektmanagement-Prozesse unterstützen wird. Andere Tech-Größen wie Google, Facebook und Apple werden diesem Beispiel folgen. Der Vorteil des von Microsoft etablierten IT-Ökosystems ist, dass sich Mitarbeiter, Teams, Organisationen – ja sogar ganze staatliche Verwaltungsstrukturen – an die Logik von Microsoft angepasst haben. Ob das gut ist, kann allerdings infrage gestellt werden. Siehe dazu Warum geschlossene Softwaresysteme auf Dauer viel Zeit und viel Geld kosten.

Dieser Lock-in führt zu einer Pfadabhängigkeit und macht es für Alternativen schwer – Alternativen wie z.B. Open Source Anwendungen. Denn obwohl berechtigte Gründe gegen ein kommerzielles IT-Ökosystem sprechen, bleiben viele Organisationen bei den etablierten IT-Strukturen, da diese Organisationen die Kosten für einen Wechsel (Switching Costs) scheuen. Es wird in Zukunft somit um die Frage gehen, was teurer ist: Das Festhalten an etablierten IT-Strukturen oder ein Wechsel zu Open Source Anwendungen, die einen Souveränen Arbeitsplatz auf Open Source Basis garantieren. Dazu zählt auch, die Verwaltung und die Nutzen der eigenen Daten auf den eigenen Servern, denn Daten sind das neue Öl. Siehe dazu auch Was wäre wenn jeder über seine Daten selbst entscheiden könnte?

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Upgrade auf Nextcloud Hub 7 durchgeführt: Weitere Möglichkeiten, Künstliche Intelligenz (KI) zu integrieren

Eigener Screenshot von unserer Nextcloud Hub 7 – Oberfläche.
Nextcloud Hub 7 wurde am 12.12.2023 veröffentlicht

Als Leser unseres Blogs wissen Sie, dass wir an einem souveränen, projektorientierten Arbeitsplatz auf Open Source Basis arbeiten, und dafür schon viele Bausteine miteinander verknüpft haben. Open Source deshalb, damit alle generierten Daten auf unseren Servern bleiben (Datenschutz und Transparenz).

Neben dem Lernmanagementsystem (LMS) Moodle, sind das OpenProject, BigBlueButton, Greenlight und Nextcloud mit CollaboraOnline, Deck (Task Boards), Talk (Webkonferenzsystem), Fotos, Kalender usw. Weiterhin wollen wir in 2024 verstärkt KI (Künstliche Intelligenz) im Projektmanagement nutzen. Siehe dazu auch KI am Arbeitsplatz.

Mit dem jetzt auf unseren Servern installierten Upgrade auf Nextcloud Hub 7 (veröffentlicht am 12.12.2023) gibt es weitere Verbesserungen einzelner Apps, und es kann nun – neben den schon vorhandenen KI-Möglichkeiten wie Llama-2, Gpt4ALL-J, (Local) Stable Diffusion, Airoboros, Whisper, Dolly, Bark, Piper, Falcon, Bert, GPT-NeoX, MPT – auch noch Aleph Alfa als weitere KI (Künstliche Intelligenz) genutzt werden.

Mit dem Smart Picker kann in Nextcloud u.a. KI (Künstliche Intelligenz) in jeder App, oder auch in jedem Projektmanagement-Prozesschritt (ob klassisch plangetrieben, agil oder hybrid), aufgrufen werden. Das alles wird mit einer Art Ampelfunktion unterstützt. Damit werden KI-Anwendungen mit rot (wei z.B. ChatGPT), gelb oder grün gekennzeichent, je nachdem welche Transparenz bei den verwendeten Daten, und der Vorgehensweisen bei der Nutzung der Daten bekannt ist (Ethical KI).

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Warum geschlossene Softwaresysteme auf Dauer viel Zeit und viel Geld kosten

Viele Einzelpersonen, Unternehmen, NGO und Öffentliche Verwaltungen haben sich an die Nutzung von allseits bekannter Software gewöhnt. Ob es ERP-Systeme für die technische und kaufmännische Abwicklung von Geschäftsprozessen sind, Webkonferenztools, Kollaborationssoftware usw. – für alles gibt es Anwendungen (Apps) der Marktführer Microsoft, SAP, Apple usw. usw. Die Anwendungen werden oft auch als eigenes Software-Ökosystem beschrieben, bei dem Personen oder Organisationen eben drinnen oder draußen sind – was die Sache schon etwas verkompliziert, wenn nicht sogar auf Dauer unwirtschaftlich macht. Warum könnte das so sein? Dazu habe ich einen Beitrag vom November 2023 gefunden, der das thematisiert und aus dem ich folgendes zitieren möchte:

In Deutschland haben sich sowohl der Mittelstand als auch viele Großunternehmen an geschlossene Softwaresysteme gebunden, die sie nur in dem Maße gestalten können, wie es die Hersteller der betreffenden Systeme zulassen. Wer als Automobilhersteller beispielsweise auf Apple Carplay setzt, kann neue Features nur dann liefern, wenn Apple das ermöglicht. Das gleiche gilt für Maschinenbauer, die zur Analyse der beim Betrieb ihrer Maschinen anfallenden Daten auf proprietäre Cloud-Lösungen setzen: Es geht dann nicht primär darum, was vorteilhaft wäre, sondern darum, was das System anbietet” (Ganten/Doenheim/Schröter 2023).

Diese einseitige digitale Abhängigkeit ist genau so gefährlich, wie es die Energieabhängigkeit von Russland (Gas) war, und von den Arabischen Staaten (ÖL) noch ist. Wenn Daten das neue Öl sind, so muss Deutschland, bzw. die Europäische Union auf eine Souveränität bei den Daten bestehen, die in der EU generiert werden. Diese Daten können aus meiner Sicht nur mit Hilfe von Open Source Anwendungen (statt geschlossene Anwendungen) geschützt und transparent behandelt werden. Darüber hinaus fördern Open Source Anwendungen den vielfältigen Austausch und somit den Mode 2 in der Wissensproduktion, was wiederum zu mehr Innovation und Agilität führt.

Sovereign Workplace: Der unabhängige Arbeitsplatz auf integrierter Open Source Basis

Quelle: https://www.openproject.org/blog/sovereign-workplace/

An jedem Arbeitsplatz werden immer mehr Anwendungen benötigt, die bisher hauptsächlich von den großen Anbietern wie Microsoft, Google oder auch Apple angeboten werden. Dabei ist nicht immer klar, was mit den generierten Daten passiert (Datenschutz und Datennutzung).

Das Projekt Sovereign Workplace hat das Ziel, an Arbeitsplätzen integrierte Open Source Anwendungen zur Verfügung zu stellen, um unabhängiger von den oben genannten Anbietern zu werden, und um wieder Kontrolle über die eigenen Daten zu gewinnen. Es ist erstaunlich, dass diese Entwicklung gerade von der deutschen Verwaltung massiv unterstützt wird. Erste Ergebnisse sollen Ende 2023 vorliegen.

In der Zwischenzeit entwickeln die oben genannten Apps Updates, die eine immer bessere Integration der Open Source Anwednungen ermöglichen. Wie Sie als Leser unseres Blogs wissen, haben wir auf unserer Kollaborationsplattform u.a. Nextcloud, Collabora Onine und OpenProject installiert, wobei für uns die Vorteile der Intergration der verschiedenen Anwednungen gerade bei der Projektarbeit deutlich werden.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.