Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Künstliche Intelligenz (KI oder AI: Artificial Intelligence) einzusetzen ist heute in vielen Organisationen schon Standard. Dabei nutzen immer noch viele die von den kommerziellen Anbietern angebotenen KI-Systeme. Dass das kritisch sein kann, habe ich schon in vielen Blogbeiträgen erläutert.

Wir wollen einen anderen Weg, aufzeigen, der die Digitale Souveränität für Organisationen und Privatpersonen ermöglicht: Open Source AI und eine Open Source Kollaborationsplattform. Siehe dazu Von der digitalen Abhängigkeit zur digitalen Souveränität.

Im ersten Schritt haben wir unsere NEXTCLOUD über einen ASSISTENTEN mit Künstlicher Intelligenz verknüpft, wobei alle Daten auf unserem Server bleiben. Siehe LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Im zweiten Schritt haben wir für die Entwicklung von AI-Agenten Langflow (Open Source) auf unserem Server installiert. Dabei ist es möglich, ChatGPT von OpenAI, oder über Ollama sehr viele unterschiedliche Open Source Modelle zu nutzen. Wir wollen natürlich den zweiten Weg gehen und haben daher Ollama auf unserem Server installiert.

Ollama Startseite auf unserem Server: Eigener Screenshot

In der Abbildung ist zu sehen, dass wir für den ersten Test zunächst vier Modelle installiert haben, inkl. DeepSeek-R1 und LLama 3.2. Demnächst werden wir noch weitere Modelle installieren, die wir dann in Langflow integrieren, um AI-Agenten zu entwickeln. In den kommenden Wochen werden wir über die Erfahrungen berichten.

LocalAI: KI-Modelle und eigene Daten kombinieren

NEXTCLOUD ASSISTENT – Eigener Screenshot

Wenn Sie die bekannten Trainingsmodelle (LLM: Large Language Modells) bei ChatGPT (OpenAI), Gemini (Google) usw. nutzen, werden Sie sich irgendwann als Privatperson, oder auch als Organisation Fragen, was mit ihren eingegebenen Texten (Prompts) oder auch Dateien, Datenbanken usw. bei der Verarbeitung Ihrer Anfragen und Aufgaben passiert.

Antwort: Das weiß keiner so genau, da die KI-Modelle nicht offen und transparent sind.

Ein wirklich offenes und transparentes KI-Modell orientiert sich an den Vorgaben für solche Modelle, die in der Zwischenzeit veröffentlicht wurden. Siehe dazu beispielsweise Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Um die eigene Souveränität über unsere Daten zu erlangen, haben wir seit einiger Zeit angefangen, uns Stück für Stück von kommerziellen Anwendungen zu lösen. Angefangen haben wir mit NEXTCLOUD, das auf unserem eigenen Server läuft. NEXTCLOUD Hub 9 bietet die Möglichkeiten, die wir alle von Microsoft kennen.

Dazu kommt in der Zwischenzeit auch ein NEXTCLOUD-Assistent, mit dem wir auch KI-Modelle nutzen können, die auf unserem Serverlaufen. Dieses Konzept einer LOCALAI – also einer lokal angewendeten KI – ist deshalb sehr interessant, da wir nicht nur große LLM hinterlegen, sondern auch fast beliebig viele spezialisierte kleinere Trainingsmodelle (SML: Small Language Models) nutzen können. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In dem Blogbeitrag LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten haben wir dargestellt, wie im NEXTCLOUD Assistenten mit einer lokalen KI gearbeitet werden kann.

Wie in der Abbildung zu sehen, können wir mit dem NEXTCLOUD Assistenten auch Funktionen nutzen, und auch eigene Dateien hochladen. Dabei werden die Dateien auch mit Hilfe von dem jeweils lokal verknüpften lokalen KI-Modell bearbeitet. Alle Daten bleiben dabei auf unserem Server – ein unschätzbarer Vorteil.

Die Kombination von LOCALAI mit eigenen Daten auf dem eigenen Server macht dieses Konzept gerade für Kleine und Mittlere Unternehmen (KMU) interessant.

LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten

LocalAI: Chat mit KI über den Nextcloud Assistenten

Wie Sie wissen, haben wir eine lokale KI (LokalKI) oder LocalAI installiert. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In unserer Kollaborationsplattform Nextcloud (Open Source) kann an jeder beliebigen Stelle der Nextcloud-Assistent aufgerufen werden. Wie in der Abbildung zu sehen ist, ergeben sich hier viele Möglichkeiten, die auch mit lokalen Large Language Models (LLM) verknüpft sind.

In dem Beispiel ist CHAT MIT KI angewählt. Diese Funktion ist in unserer LocalAI mit Llama 3.2 (LLM) verknüpft.

Als Prompt habe ich zum Test einfach “Erstelle eine Liste mit Stakeholdern für das Projekt Website” eingegeben.

Es kam zu einer Nachfrage, die ich beantwortet habe. Anschließend wurde eine durchaus brauchbare Liste möglicher Stakeholder für ein Projekt “Website” ausgegeben.

Nach verschiedenen kleinen Einstellungen am Server waren die Antwortzeiten sehr gut.

Der große Vorteil bei dieser Arbeitsweise ist allerdings: Alle Daten bleiben auf unserem Server – LocalAI eben.

Open Source: Nextcloud-Assistent und Künstliche Intelligenz (KI)

Bei den verschiedenen kommerziellen Anwendungen ist es fast schon Standard, dass Assistenten eingeblendet und angewendet werden, um Künstliche Intelligenz in den jeweiligen Prozess oder Task zu nutzen. Dabei ist immer noch weitgehend unklar, welche Trainingsdaten bei den verschiedenen Trainingsdatenbanken (LLM: Large Language Models) genutzt werden, und was beispielsweise mit den jeweils eigenen Eingaben (Prompts) passiert. Nicht zuletzt werden sich die kommerziellen Anbieter die verschiedenen Angebote mittelfristig auch gut bezahlen lassen.

Es kann daher nützlich sein, Open Source AI zu nutzen.

Praktisch kann das mit NEXTCLOUD und dem darin enthaltenen Nextcloud-Assistenten umgesetzt werden. Jede Funktion (Abbildung) kann man mit einer Traingsdatenbank verbinden, die wirklich transparent und Open Source ist. Solche Trainingsdatenbanken stehen beispielsweise bei Hugging Face zur Verfügung. Darüber hinaus bleiben alle Daten auf dem eigenen Server – ein heute unschätzbarer Wert . Wir werden diesen Weg weitergehen und in Zukunft dazu noch verschiedene Blogbeiträge veröffentlichen. Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Nextcloud: Welche KI für welche Aufgabe?

Eigener Screenshot

In unserer Nextcloud (Hub 9) gibt es einen Nexcloud-Assistenten in dem verschiedene Aufgaben ausgewählt werden können (Siehe Abbildung). Weiterhin ist es möglich, zu jeder der genannten Anwendungen die geeignete KI (Künstliche Intelligenz) zu hinterlegen.

In der folgenden Abbildung ist zu sehen, dass für die Aufgaben “Free text to text prompt” und “Extract topics” z.B. OpenAI hinterlegt ist. Das Rollfeld zeigt, dass auch andere KI-Anwendungen ausgewählt werden können. Unser Ziel ist es in Zukunft mit leitungsfähigen Open Source KI-Anwendungen wie z.B. Common Corpus zu arbeiten. Siehe dazu auch Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht.

Eigener Screenshot

Collabora Online: Switching Formats von Microsoft zu Open Source und umgekehrt

Quelle: https://www.collaboraonline.com/collabora-online/

In den letzten Jahrzehnten haben sich viele Personen und Organisationen an die Microsoft-Anwendungen angepasst. In der letzten Zeit gibt es allerdings immer mehr stimmen, die sich den Möglichkeiten von Open-Source-Anwendungen zuwenden, was unterschiedliche Gründe hat. Siehe dazu beispielsweise Warum geschlossene Softwaresysteme auf Dauer viel Zeit und viel Geld kosten und Künstliche Intelligenz: Vorteile von Open-Source-Modellen.

Auf der Ebene der Kollaborationsplattformen gibt es mit Nextcloud und Collabora Online interessante Open-Source-Alternativen zur Microsoft-Welt. Dabei können beispielsweise Microsoft-Dateien und Open-Source-Dateien in Nextcloud abgelegt und bearbeitet werden. Ist die Collabora-Online-App installiert, so kann auch kollaborativ an Dateien gearbeitet werden. Die Dateien werden in dem jeweiligen Browser geöffnet, sodass keine weitere spezielle Software erforderlich ist.

Wenn man allerdings häufig zwischen den “beiden Welten” (Microsoft – Open Source) hin- und herwechselt, kommt es durchaus zu Schwierigkeiten, die in einem White Paper von Collabora Online wie folgt beschrieben wurden.

You may run into problems if you frequently switch between document formats. This is not a problem unique to Collabora Online, this will be true by all document editors, but we feel it worth pointing out still. Document formats are very complicated. For example, the specification document for Microsoft-developed Open XML format ist 5000 pages long. Consequently, every document format contain some functionality available only in that format. For this reason, we encourage end users to stick to one document format” (Collabora Productivity (2024): Document Interoperability with Collabora Online | PDF).

Es wundert mich nicht, dass manche Microsoft-Anwender bei solchen Punkten Open-Source-Lösungen aus Bequemlichkeit ablehnen. Microsoft hat es geschafft, dass sich sehr viele Personen und Organisationen an die Microsoft-Logik angepasst haben und jetzt bei einem Wechsel gefühlt hohe Switching-Costs entstehen. Dabei treten die offensichtlichen Vorteile von Open-Source-Anwendungen in den Hintergrund. Wie oben in dem Link erwähnt, kann so ein Verhalten teuer sein.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co.

OpenAI ist mit ChatGPT etc. inzwischen weltweit erfolgreich am Markt. Angefangen hat das damalige Start-up mit der Idee, Künstliche Intelligenz (AI) als Anwendung offen, und damit frei verfügbar und transparent anzubieten. – ganz im Sinne der Open Source Idee.

Durch den Einstieg von Microsoft ist der Name OpenAI zwar geblieben, doch sind die Angebote in der Zwischenzeit eher als geschlossenes, intransparentes System einzuordnen, mit dem die Inhaber (Shareholder) exorbitante Gewinne erzielen möchten.

Dieser Problematik hat sich eine Personengruppe angenommen, und eine erste Definition für Open Source AI erarbeitet, anhand der die aktuellen KI-Apps bewertet werden können: In dem Artikel MIT Technology Review (2024): We finally have a definition for open-source AI (Massachusetts Institut of Technology, 22.08.224) findet sich dazu folgendes:

“According to the group, an open-source AI system can be used for any purpose without securing permission, and researchers should be able to inspect its components and study how the system works.

It should also be possible to modify the system for any purpose—including to change its output—and to share it with others to usewith or without modificationsfor any purpose. In addition, the standard attempts to define a level of transparency for a given model’s training data, source code, and weights.”

Die Intransparenz der Trainingsdaten bei den eher geschlossenen KI-Systemen von OpenAI, Meta und Google führt aktuell dazu, dass sich diese Unternehmen mit sehr vielen Klagen und Rechtstreitigkeiten auseinandersetzen müssen.

Die Open Source Initiative (OSI) plant, eine Art Mechanismus zu entwickeln, der bei den jeweiligen KI-Anwendungen anzeigt, ob es sich wirklich um Open Source KI-Anwendungen handelt

Interessant ist, dass dieser Gedanke bei Nextcloud mit seinem Ethical AI Ansatz schon vorweggenommen wurde.

Open Source: Nextcloud und CollaboraOnline Update

Screenshot von unserer Nextcloud-Startseite

Wir nutzen schon seit vielen Jahren verschiedene Open Source Anwendungen. Als Lernmanagement-System verwenden wir MOODLE, als Videokonferenzsystem BIGBLUEBUTTON, als Projektmanagement-Software OPENPROJECT, für Cloud-Anwendungen NEXTCLOUD, für die kollaborative Bearbeitung von Dateien COLLABORAONLINE, und als Anwendung für unseren Blog WORDPRESS.

Einer der wichtigsten Gründe für Open Source Anwendungen ist, dass dabei die Daten unserer Nutzer auf unseren Servern bleiben.

Natürlich müssen alle Anwendungen immer wieder upgedated werden. Bei NEXTCLOUD haben wir nun die Version 29.0.3 und bei COLLABORAONLINE die Version 24.04.5.1-1 installiert, wodurch es zu mehr Stabilität bei der Nutzung kommt und auch zu neuen, verbesserten Funktionen. Auch im zweiten Halbjahr 2024 werden wir unseren Teilnehmern die verschiedenen Möglichkeiten zur kollaborativen Projektarbeit anbieten.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, die wir an verschiedenen Standorten anbieten. Informationen zu unseren Blended Learning Lehrgängen und zu aktuellen Terminen finden Sie auf unserer Lernplattform.

,

Anwendungsbeispiele für ChatGPT in KMU

Die Möglichkeiten von Künstlicher Intelligenz (KI) am Arbeitsplatz sind vielfältig, und werden daher von großen Konzerne, Privatpersonen und verstärkt auch von Kleinen und mittelständischen Unternehmen (KMU) genutzt. Saskia Powell vom RKW stellte dazu Nicole Simon einige Fragen dazu. Das komplette Interview kann im aktuellen RKW-Magazin 1/2024 unter ” Gekommen, um zu bleiben. Wie kleine und mittlere Unternehmen ChatGPT für sich nutzen können” nachgelesen werden. Ich möchte an dieser Stelle die in dem Interview angegebenen Anwendungsbeispiele für ChatGPT in KMU hervorheben:

> Content-Erstellung und Überarbeitung: Marketingtexte, Webseite, Social Media
> Übersetzungen: Inhalte für nichtdeutsche Märkte übersetzen
> Kundenservice: Antworten auf häufige Fragen, 24/7-Support, Sentiment-Analysen
> Marktforschung: Zusammenfassung von Branchenberichten und Analyse von Kundenfeedback, Entwurf von Interview-Fragen
> Entwicklung von Lernmaterialien und Trainings: Umwandlung von Handbüchern in Kurse mit Fragen, Tests und Webanwendungen
> Dokumentation: Beschreibung von Arbeitsabläufen nach definiertem Standard
> Profilerstellung: Zielgruppendefinition anhand von Vertriebs- und Marketingunterlagen
> Vorbereitung von Verkaufsgesprächen: Antizipation möglicher Kundenfragen, Einwandbehandlung
> Brainstorming: Finden von Metaphern und Beispielen
> Programmierung: Dokumentation und Analyse von Codes, Unterstützung bei der Fehlersuche

Darüber hinaus weist Nicole Simon auch darauf hin, dass ChatGPT nicht kreativ ist, und nicht querdenken kann (ebd.). Ich hätte mir weiterhin gewünscht, dass der Blick nicht nur auf ChatGPT gerichtet wird, sondern die Entwicklungen hin zu einem souveränen Arbeitsplatze erwähnt werden, bei dem viele Anwendungen (inkl. eines KI-Assistenten) Open-Source-basiert sind, damit die Daten bei dem jeweiligen kleinen und mittelständischen Unternehmen (KMU) bleiben können. Siehe dazu auch Nextcloud: Geeignete KI-Apps selbst auswählen – ein Beispiel oder Warum kann NEXTCLOUD zukünftig eine interessante Alternative zu ChatGPT (OpenAI) oder Bard (Google) sein?

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Nextcloud-Assistent – Lokales LLM als Assistent in Nextcloud integriert

Nextcloud ist eine Open Source Anwendung, die durch verschiedene Apps an die individuellen Anforderungen angepasst werden kann. Damit die Arbeit noch zeitgemäßer, und somit KI-unterstützt durchgeführt werden kann, wurde 2023 die erste Version des Nextcloud Assistenten veröffentlicht. Wir haben nun die Version 1.03 vom Dezember 2023 bei uns problemlos installiert.

Das Symbol für den Nextcloud Assistenten erscheint in der oberen Leiste des Dashboards und in allen Apps, die in unserer Nextcloud verwendet werden. Wie in der Abbildung zu sehen ist, können dabei Context Chat, Free Prompt oder Generate Headline aufgerufen werden. Weitere Funktionen, die sich hinter den drei Punkten verbergen sind Summarize und Reformulate.

Es ist wirklich erstaunlich, wie dynamisch sich Nextcloud entwickelt und die vielfältigen KI-Möglichkeiten integriert – alles Open Source.