Veröffentlicht am

Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Künstliche Intelligenz (KI oder AI: Artificial Intelligence) einzusetzen ist heute in vielen Organisationen schon Standard. Dabei nutzen immer noch viele die von den kommerziellen Anbietern angebotenen KI-Systeme. Dass das kritisch sein kann, habe ich schon in vielen Blogbeiträgen erläutert.

Wir wollen einen anderen Weg, aufzeigen, der die Digitale Souveränität für Organisationen und Privatpersonen ermöglicht: Open Source AI und eine Open Source Kollaborationsplattform. Siehe dazu Von der digitalen Abhängigkeit zur digitalen Souveränität.

Im ersten Schritt haben wir unsere NEXTCLOUD über einen ASSISTENTEN mit Künstlicher Intelligenz verknüpft, wobei alle Daten auf unserem Server bleiben. Siehe LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Im zweiten Schritt haben wir für die Entwicklung von AI-Agenten Langflow (Open Source) auf unserem Server installiert. Dabei ist es möglich, ChatGPT von OpenAI, oder über Ollama sehr viele unterschiedliche Open Source Modelle zu nutzen. Wir wollen natürlich den zweiten Weg gehen und haben daher Ollama auf unserem Server installiert.

Ollama Startseite auf unserem Server: Eigener Screenshot

In der Abbildung ist zu sehen, dass wir für den ersten Test zunächst vier Modelle installiert haben, inkl. DeepSeek-R1 und LLama 3.2. Demnächst werden wir noch weitere Modelle installieren, die wir dann in Langflow integrieren, um AI-Agenten zu entwickeln. In den kommenden Wochen werden wir über die Erfahrungen berichten.

Veröffentlicht am

Locale KI-Anwendung: Erster Test mit dem Modell LLama 3.3 70B

Eigener Screenshot

Wie Sie wissen, haben wir auf unserem Server die Möglichkeit eingerichtet, KI-Modelle lokal auszuwählen und zu testen, bzw. zu nutzen – LokalKI oder LocalAI. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

Die verschiedenen Modelle können dazu vorab ausgewählt werden. Für diesen Test habe ich Llama 3.3 70B ausgewählt, was in der Abbildung zu erkennen ist. LLama 3.3 ist ein nur textbasiertes Modell, das den Vorteil hat, deutlich weniger Rechenaufwand zu benötigen, als z.B. LLama 3.1 405B.

Die Eingabetext wird unten in dem dunkelgrau hinterlegten Feld eingetragen und erscheint dann in dem blau hinterlegten Feld.

Eingabe: Welche Prozessschritte gehören zu einem Innovationsprozess?

Das Ergebnis (Grün hinterlegt) kann sich für den ersten kleinen Test sehen lassen. Die Prozessschritte sind genannt und erläutert.

Die Antwortzeit war relativ kurz, was bei der Modellgröße von 70B durchaus überrascht. Immerhin haben wir keine besondere Rechenleistung installiert.

Der Vorteil ist auch hier: Alle Daten der KI-Anwendung bleiben auf unserem Server .

Veröffentlicht am

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Eigener Screenshot

Künstliche Intelligenz (KI) wirkt schon heute – und in Zukunft noch viel mehr – in alle Bereiche der Gesellschaft. Die Frage ist allerdings, wie Künstliche Intelligenz (AI: Artificial Intelligence) genutzt wird.

Ein Weg ist dabei, sich von den Vorgaben der eher geschlossenen KI-Systeme treiben zu lassen. Das hat durchaus Vorteile, allerdings auch Nachteile. Siehe dazu ausführlicher Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Wir versuchen daher einen alternativen Weg aufzuzeigen, und auch umzusetzen. Dabei setzen wir auf die lokale Verarbeitung der Daten und auf die Nutzung von Open Source AI.

Dazu haben wir LocalAI (LokalKI) auf unserem Server installiert. Wie der Abbildung zu entnehmen ist, stehen uns aktuell 713 frei verfügbare Modelle zur Verfügung, die unterschiedlich genutzt werden können:

Zunächst ist es möglich, einzelne Modelle auszuwählen und mit Eingaben (Texte) zu testen. Dabei können Sie schon erkennen, welche Modelle für welche Anwendungen geeignet sind. Denn: Es wird in Zukunft immer mehr darauf ankommen, die geeigneten (kleineren) Modelle für die jeweiligen Prozessschritte im Unternehmen, oder privat zu nutzen.

Weiterhin können wir jedes der Modelle auch in NEXTCLOD über den NEXTCLOUD-ASSISTENTEN und der Funktion CHAT MIT KI nutzen. Siehe dazu LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Der Vorteil liegt auf der Hand: Mit LocalAI bleiben alle Daten auf unserem Server. Ein nicht zu unterschätzender Punkt – heute, und viel stärker noch in Zukunft.

Veröffentlicht am

LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten

LocalAI: Chat mit KI über den Nextcloud Assistenten

Wie Sie wissen, haben wir eine lokale KI (LokalKI) oder LocalAI installiert. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In unserer Kollaborationsplattform Nextcloud (Open Source) kann an jeder beliebigen Stelle der Nextcloud-Assistent aufgerufen werden. Wie in der Abbildung zu sehen ist, ergeben sich hier viele Möglichkeiten, die auch mit lokalen Large Language Models (LLM) verknüpft sind.

In dem Beispiel ist CHAT MIT KI angewählt. Diese Funktion ist in unserer LocalAI mit Llama 3.2 (LLM) verknüpft.

Als Prompt habe ich zum Test einfach “Erstelle eine Liste mit Stakeholdern für das Projekt Website” eingegeben.

Es kam zu einer Nachfrage, die ich beantwortet habe. Anschließend wurde eine durchaus brauchbare Liste möglicher Stakeholder für ein Projekt “Website” ausgegeben.

Nach verschiedenen kleinen Einstellungen am Server waren die Antwortzeiten sehr gut.

Der große Vorteil bei dieser Arbeitsweise ist allerdings: Alle Daten bleiben auf unserem Server – LocalAI eben.

Veröffentlicht am

Lokale KI-Anwendungen: Erster Test mit dem Modell Llama 3.2

Screenshot von unserer lokalen KI-Anwendung (LokalKI)

Wie Sie wissen, haben wir auf einem Server die Möglichkeit eingerichtet, KI-Modelle lokal auszuwählen und zu testen, bzw. zu nutzen – LokalKI oder LocalAI. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

Die verschiedenen Modelle können dazu vorab ausgewählt werden. Für diesen Test habe ich Llama 3.2 ausgewählt, was in der Abbildung zu erkennen ist. Der folgende einfache Prompt wurde im Textfeld (Unten in der Abbildung) von mir eingegeben:

Prompt (Blau hinterlegt): Du bist Projektmanager des Projekts Website. Erstelle eine Übersicht zu möglichen Stakeholder in Tabellenform. Ausgabe in einem Worddokument.

Das Ergebnis (Grün hinterlegt) kann sich durchaus sehen lassen. Die erste Übersicht zu möglichen Stakeholdern könnte genutzt und noch ein wenig angepasst werden.

Die Aufforderung, eine Tabelle in einer Worddatei zu erstellen wurde ignoriert, da das wohl in dieser Modell-Version nicht möglich ist. Das Ergebnis könnte ich natürlich selbst einfach in einer Worddatei kopieren.

Die Antwortzeit war relativ kurz was mich durchaus überrascht hat.

Insgesamt ist das Ergebnis natürlich noch nicht so, wie man das von ChatGPT usw. gewohnt ist, doch hier haben wir den Vorteil, dass alle Daten der KI-Anwendung auf unserem Server bleiben – auch wenn wir z.B. interne Dokumente hochladen.

Veröffentlicht am

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

Quelle: Eigener Screenshot

In verschiedenen Blogbeiträgen hatte ich darauf hingewiesen, dass es für Organisationen in Zukunft immer wichtiger wird, die digitale Abhängigkeiten von kommerziellen IT-/AI-Anbietern zu reduzieren – auch bei der Anwendung von Künstlicher Intelligenz (AI: Artificial Intelligence), da die Trainingsdatenbanken der verschiedenen Anbieter

(1) nicht transparent sind,
(2) es zu Urheberrechtsverletzungen kommen kann,
(3) und nicht klar ist, was mit den eigenen eingegeben Daten, z.B. über Prompts oder hochgeladenen Dateien, passiert.

Siehe dazu auch Digitale Souveränität: Europa, USA und China im Vergleich. Nicht zuletzt werden die Kosten für die KI-Nutzung immer höher – beispielsweise bei Microsoft und der Nutzung des KI-Assistenten Copilot: KI treibt Microsoft-365-Preise in die Höhe (golem vom 17.01.2025).

Es ist natürlich leicht, darüber zu schreiben und die Dinge anzuprangern, schwieriger ist es, Lösungen aufzuzeigen, die die oben genannten Punkte (1-3) umgehen. Zunächst einmal ist die Basis von einer Lösung Free Open Source Software (FOSS). Eine FOSS-Alternative zu OpenAI, Claude usw. haben wir auf einem Server installiert und die ersten drei Modelle installiert. Was bedeutet das?

Wenn wir in einem Chat einen Prompt (Text, Datei..) eingeben, greift das System auf das ausgewählte Modell (LLM: Large Language Model) zu, wobei die Daten (Eingabe, Verarbeitung, Ausgabe) alle auf unserem Server bleiben.

Wie in der Abbildung zu sehen ist, haben wir neben Llama 3.2 auch Teuken 7B hinterlegt. Gerade Teuken 7B basiert auf einem europäischen Ansatz für eine Trainingsdatenbank (LLM) in 24 Sprachen der Europäischen Union. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Wir werden diese Modelle in der nächsten Zeit testen und unsere Erkenntnisse in Blogbeiträgen darstellen.

Veröffentlicht am

OpenProject 12.3 jetzt mit Task Boards in der Community Edition

Wir haben unser installiertes OpenProject auf die Version 12.3 upgedated. Bemerkenswert ist dabei, dass es ab der Version 12.1 in der Community Edition nun die Möglichkeit gibt, Task Boards anzulegen. In dem Bild sieht man dazu einen Screenshot zu einem Demoprojekt auf unserer Plattform. Mit Open Project ist es möglich, planbasierte Projekte (z.B. mit Gantt-Diagrammen) und agile Projekte mit SCRUM (Sprints mit Open Project) abzubilden. Darüber hinaus sind natürlich Boards (Task Boards) geeignet, wissensbasierte Projektarbeit zu unterstützen.

Bis zur Version 12.1 standen die Boards nur der Enterprise Edition zur Verfügung. Es ist den Entwicklern zu verdanken, dass jetzt zumindest Task Boards in der Community Edition vorhanden sind. Die Kanban Boards sind allerdings immer noch der Enterprise Edition vorbehalten. Dennoch ist es jetzt möglich in OpenProject planbasiertes, agiles (SCRUM / TASK BOARDS) und hybrides Projektmanagement abzubilden. In unseren Lehrgängen werden wir in 2023 diese neuen Möglichkeiten nach und nach integrieren.

Informationen zu den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK) und zu aktuellen Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Freie Open Source Software (FOSS) als Ökosystem für die Öffentliche Verwaltung – mit interaktiver Concept-Map

Open Source und hier speziell Freie Open Source Software (FOSS)rückt immer stärker in den Mittelpunkt gesellschaftlicher Organisationen und Institutionen. Es verwundert daher nicht, dass im Koalitionsvertrag der aktuellen Regierungsparteien die Förderung und der weitere Ausbau und Nutzung Freier Open Source Software (FOSS) vereinbart wurde. Beeindruckend ist jetzt zu sehen, wie ein ganzes Ökosystem für die Öffentliche Verwaltung auf der Basis von FOSS aussehen kann. Auf der Website FOSSGov wird dieses Ökosystem mit einer interaktiven Conceptmap visualisiert – toll gemacht.

“Um Open-Source-Software für die öffentliche Verwaltung strategisch und systematisch brauchbar zu machen, muss die öffentliche Hand mehr als Gärtnerin denn als Käuferin agieren. Denn auch wenn Open Source stellenweise als Markt mit Gewinninteressen funktioniert, ist es besser als ein Ökosystem mit vielfältigen Rollen und Interessen zu verstehen, die ineinandergreifen müssen, damit ein Softwareprojekt gedeiht. Es gilt zu säen, gezielt zu düngen, Wachstum in die richtige Richtung zu lenken, Wildwuchs zu begrenzen und auch Zurückhaltung zu üben, um schließlich ernten zu können. Mit der wichtigen Besonderheit, dass digitale Früchte beliebig oft gegessen werden können” (ebd.).

In den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK) nutzen wir auch viele Open Source Tools, wie z.B. Moodle, Nextcloud, OpenProject usw.. Informationen zu den Lehrgängen und zu aktuellen Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Erfolgreiche Open-Source-Projekte weisen eine selbstverstärkende Innovationsspirale auf

Innovationsspirale eines FOSS-Projektes (Basanta et al. 2022: Ein Open-Source-Ökosystem für die öffentliche Verwaltung)

Es ist immer wieder erstaunlich, wie intensiv sich manche Menschen dafür engagieren, dass Software frei entwickelt, und von jedermann genutzt werden kann. Diese Free Open Source Software (FOSS) – Bewegung kommt auch immer mehr in den Öffentlichen Verwaltungen, bei NGOs oder auch bei mittelständischen Unternehmen an. Interessant dabei ist, dass erfolgreiche Open-Source-Projekte eine sich selbst verstärkende Innovationsspirale aufweisen. Wie ist das zu erklären?

“Je mehr Nutzer:innen eine OpenSource-Software nutzen bzw. je nützlicher die Software für ressourcenstarke Lead User ist, desto eher werden einige der Nutzer:innen zur Weiterentwicklung der Software beitragen. Die so verbesserte Software ist wiederum attraktiver und nützlicher für mehr Nutzer:innen, wodurch mehr Akteure zu Verbesserung der Software beitragen und so weiter. Nach dieser Logik ist stets eine möglichst breite Basis an beitragswilligen Nutzer:innen und insbesondere eine Vielfalt an Lead Usern anzustreben. So bleibt die Innovationsspirale auch dann stabil, wenn die einzelnen Nutzer:innen nur hin und wieder einen Beitrag zum FOSS-Projekt leisten. Analog wächst dabei meist der Kreis der Entwickler:innen, die mit der Codebase vertraut sind, und somit das potenzielle Angebot an Dienstleistungen rund um das FOSS-Projekt” (Basanta et al. 2022: Ein Open-Source-Ökosystem für die öffentliche Verwaltung).

Es ist schön zu sehen, wie Wirkungsnetze analysiert werden können, indem Generatoren (sich selbst verstärkende Einflussfaktoren) visualisiert werden. Ein ähnliches Vorgehen wird bei der Wissensbilanz – Made in Germany vorgeschlagen, um die ganzen Einflussfaktoren im Sinne von Generatoren zu analysieren. Weiterhin ist an dem Text interessant, dass auf Lead User eingegangen wird. Siehe dazu auch

In den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK) nutzen wir ganz bewusst FOSS.. Informationen zu den Lehrgängen und zu aktuellen Terminen finden Sie auf unserer Lernplattform.