LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten

LocalAI: Chat mit KI über den Nextcloud Assistenten

Wie Sie wissen, haben wir eine lokale KI (LokalKI) oder LocalAI installiert. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In unserer Kollaborationsplattform Nextcloud (Open Source) kann an jeder beliebigen Stelle der Nextcloud-Assistent aufgerufen werden. Wie in der Abbildung zu sehen ist, ergeben sich hier viele Möglichkeiten, die auch mit lokalen Large Language Models (LLM) verknüpft sind.

In dem Beispiel ist CHAT MIT KI angewählt. Diese Funktion ist in unserer LocalAI mit Llama 3.2 (LLM) verknüpft.

Als Prompt habe ich zum Test einfach “Erstelle eine Liste mit Stakeholdern für das Projekt Website” eingegeben.

Es kam zu einer Nachfrage, die ich beantwortet habe. Anschließend wurde eine durchaus brauchbare Liste möglicher Stakeholder für ein Projekt “Website” ausgegeben.

Nach verschiedenen kleinen Einstellungen am Server waren die Antwortzeiten sehr gut.

Der große Vorteil bei dieser Arbeitsweise ist allerdings: Alle Daten bleiben auf unserem Server – LocalAI eben.

Lokale KI-Anwendungen: Erster Test mit dem Modell Llama 3.2

Screenshot von unserer lokalen KI-Anwendung (LokalKI)

Wie Sie wissen, haben wir auf einem Server die Möglichkeit eingerichtet, KI-Modelle lokal auszuwählen und zu testen, bzw. zu nutzen – LokalKI oder LocalAI. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

Die verschiedenen Modelle können dazu vorab ausgewählt werden. Für diesen Test habe ich Llama 3.2 ausgewählt, was in der Abbildung zu erkennen ist. Der folgende einfache Prompt wurde im Textfeld (Unten in der Abbildung) von mir eingegeben:

Prompt (Blau hinterlegt): Du bist Projektmanager des Projekts Website. Erstelle eine Übersicht zu möglichen Stakeholder in Tabellenform. Ausgabe in einem Worddokument.

Das Ergebnis (Grün hinterlegt) kann sich durchaus sehen lassen. Die erste Übersicht zu möglichen Stakeholdern könnte genutzt und noch ein wenig angepasst werden.

Die Aufforderung, eine Tabelle in einer Worddatei zu erstellen wurde ignoriert, da das wohl in dieser Modell-Version nicht möglich ist. Das Ergebnis könnte ich natürlich selbst einfach in einer Worddatei kopieren.

Die Antwortzeit war relativ kurz was mich durchaus überrascht hat.

Insgesamt ist das Ergebnis natürlich noch nicht so, wie man das von ChatGPT usw. gewohnt ist, doch hier haben wir den Vorteil, dass alle Daten der KI-Anwendung auf unserem Server bleiben – auch wenn wir z.B. interne Dokumente hochladen.

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

Quelle: Eigener Screenshot

In verschiedenen Blogbeiträgen hatte ich darauf hingewiesen, dass es für Organisationen in Zukunft immer wichtiger wird, die digitale Abhängigkeiten von kommerziellen IT-/AI-Anbietern zu reduzieren – auch bei der Anwendung von Künstlicher Intelligenz (AI: Artificial Intelligence), da die Trainingsdatenbanken der verschiedenen Anbieter

(1) nicht transparent sind,
(2) es zu Urheberrechtsverletzungen kommen kann,
(3) und nicht klar ist, was mit den eigenen eingegeben Daten, z.B. über Prompts oder hochgeladenen Dateien, passiert.

Siehe dazu auch Digitale Souveränität: Europa, USA und China im Vergleich. Nicht zuletzt werden die Kosten für die KI-Nutzung immer höher – beispielsweise bei Microsoft und der Nutzung des KI-Assistenten Copilot: KI treibt Microsoft-365-Preise in die Höhe (golem vom 17.01.2025).

Es ist natürlich leicht, darüber zu schreiben und die Dinge anzuprangern, schwieriger ist es, Lösungen aufzuzeigen, die die oben genannten Punkte (1-3) umgehen. Zunächst einmal ist die Basis von einer Lösung Free Open Source Software (FOSS). Eine FOSS-Alternative zu OpenAI, Claude usw. haben wir auf einem Server installiert und die ersten drei Modelle installiert. Was bedeutet das?

Wenn wir in einem Chat einen Prompt (Text, Datei..) eingeben, greift das System auf das ausgewählte Modell (LLM: Large Language Model) zu, wobei die Daten (Eingabe, Verarbeitung, Ausgabe) alle auf unserem Server bleiben.

Wie in der Abbildung zu sehen ist, haben wir neben Llama 3.2 auch Teuken 7B hinterlegt. Gerade Teuken 7B basiert auf einem europäischen Ansatz für eine Trainingsdatenbank (LLM) in 24 Sprachen der Europäischen Union. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Wir werden diese Modelle in der nächsten Zeit testen und unsere Erkenntnisse in Blogbeiträgen darstellen.

Buyl et al. (2024): Large Language Models Reflect the Ideology of their Creators

In dem Blogbeitrag Digitale Souveränität: Europa, USA und China im Vergleich wird deutlich gemacht, dass Europa, die USA und China unterschiedliche Ansätze bei dem Thema Digitale Souveränität haben. Diese grundsätzlichen Unterschiede zeigen sich auch in den vielen Large Language Models (Trainingsdatenbanken), die für KI-Anwendungen benötigt werden.

Es wundert daher nicht, dass in dem Paper Buyl et al. (2024): Large Language Models Reflect The Ideology of their Creators folgende Punkte hervorgehoben werden:

“The ideology of an LLM varies with the prompting language.”

In dem Paper geht es um die beiden Sprachen Englisch und Chinesisch für Prompts, bei denen sich bei den Ergebnissen Unterschiede gezeigt haben.

“An LLM’s ideology aligns with the region where it was created.”

Die Region spielt für die LLMs eine wichtige Rolle. China und die USA dominieren hier den Markt.

“Ideologies also vary between western LLMs.”

Doch auch bei den “westlichen LLMs” zeigen sich Unterschiede, die natürlich jeweils Einfluss auf die Ergebnisse haben, und somit auch manipulativ sein können.

Die Studie zeigt wieder einmal, dass es für einzelne Personen, Gruppen, Organisationen oder auch Gesellschaften in Europa wichtig ist, LLMs zu nutzen, die die europäischen Sprachen unterstützen, und deren Trainingsdaten frei zur Verfügung stehen. Das gibt es nicht? Doch das gibt es – siehe dazu

Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co.

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Open Source: Nextcloud-Assistent und Künstliche Intelligenz (KI).

Open Source: Nextcloud-Assistent und Künstliche Intelligenz (KI)

Bei den verschiedenen kommerziellen Anwendungen ist es fast schon Standard, dass Assistenten eingeblendet und angewendet werden, um Künstliche Intelligenz in den jeweiligen Prozess oder Task zu nutzen. Dabei ist immer noch weitgehend unklar, welche Trainingsdaten bei den verschiedenen Trainingsdatenbanken (LLM: Large Language Models) genutzt werden, und was beispielsweise mit den jeweils eigenen Eingaben (Prompts) passiert. Nicht zuletzt werden sich die kommerziellen Anbieter die verschiedenen Angebote mittelfristig auch gut bezahlen lassen.

Es kann daher nützlich sein, Open Source AI zu nutzen.

Praktisch kann das mit NEXTCLOUD und dem darin enthaltenen Nextcloud-Assistenten umgesetzt werden. Jede Funktion (Abbildung) kann man mit einer Traingsdatenbank verbinden, die wirklich transparent und Open Source ist. Solche Trainingsdatenbanken stehen beispielsweise bei Hugging Face zur Verfügung. Darüber hinaus bleiben alle Daten auf dem eigenen Server – ein heute unschätzbarer Wert . Wir werden diesen Weg weitergehen und in Zukunft dazu noch verschiedene Blogbeiträge veröffentlichen. Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Vom Mindmap zu einem KI-Agenten für Wissensmanagement?

 „Wissensmanagement-Mindmap“ von Martin Harnisch, Sonja Kaiser, Dirk Liesch, Florian Schmuhl, Gabriele Vollmar, Sabine Wax, lizenziert unter CC BY 4.0

In einer Arbeitsgruppe der Gesellschaft für Wissensmanagement e.V. (GfWM) wurde 2024 ein umfangreiches Mindmap zu Wissensmanagement erstellt. In der Abbildung ist die Quelle und die Lizenz zur Nutzung genannt.

“Die Wissensmanagement-Mindmap soll einen systematischen Überblick über die wesentlichen Handlungsfelder, Modelle, Methoden und Tools im Bereich des Wissensmanagements geben” (ebd.).

Die Mindmap ist auf der Website der GfWM in verschiedenen Dateiformaten zu finden, die mit Angabe der Quelle genutzt werden können.

Einerseits ist es gut, einen Überblick zu den vielfältigen Themenbereichen des Wissensmanagements zu erhalten. Andererseits weisen die Autoren berechtigt darauf hin, dass dieses Mindmap keinen Anspruch auf Vollständigkeit hat. Wenn da allerdings noch viele weitere “Äste” hinzukommen, wirkt das Mindmap weniger hilfreich und “erschlägt” möglicherweise den Interessenten.

Insofern frage ich mich, ob es nicht besser wäre einen Einstig zu wählen, der sich aus den jeweiligen Situationen, Kontexten, Domänen ergibt. Solche “Ankerpunkte” konkretisieren den Umgang mit Wissen, und führen in einem Bottom-Up-Ansatz zur Entdeckung der vielfältigen Möglichkeiten des Wissensmanagements – speziell abgestimmt auf die einzelne Person, die Gruppe, die Organisation und/oder das Netzwerk.

Umgesetzt werden kann das heute mit KI- Agenten (AI Agents).

IPMA: Initial AI Survey 2024 Report

Initial AI Survey 2024 Report | Authors: Aco Momcilovic Dr. Reinhard Wagner & Dr. Rebeka D. Vlahov | Download the report here.

Es ist unausweichlich, dass sich die bekannten Projektmanagement-Standards des PMI (Project Management Institutes), PRINCE2 und auch IPMA (International Project Management Association) mit Künstlicher Intelligenz im Projektmanagement befassen. Die Gesellschaft für Projektmanagement e.V. orientiert sich an dem IPMA Standard, sodass die aktuelle IPMA-Veröffentlichung zum Thema interessant erscheint: Momcilovic, A.; Wagner, R.; Vlahov, R. D. (2024): Initial AI Survey 2024 Report | PDF. Darin sind die folgenden wichtigsten Erkenntnisse zusammengefasst:

(1) High Interest in AI Tools: Project managers are particularly interested in AI applications for risk management, task automation, and data analysis. These areas are seen as critical for improving project outcomes by reducing uncertainty, streamlining operations, and providing data-driven insights.

(2) Varying Levels of AI Knowledge: While there is significant enthusiasm for AI, there is also a clear knowledge gap. Many project managers feel they lack the understanding and skills needed to fully utilize AI in their work, which remains a major barrier to adoption.

(3) Barriers to Adoption: Key challenges include concerns about data privacy, the cost of AI tools, and uncertainty regarding the return on investment (ROI). Additionally, lack of leadership support and a general resistance to change were cited as obstacles to broader AI integration.

(4) Future Adoption: Despite these barriers, the survey shows an optimistic outlook on AI adoption. A majority of respondents indicated that they are likely to adopt AI tools within the next two years, provided they have access to adequate training, resources, and support

Diese Punkte sind nicht wirklich überraschend und bestätigen nur die generell zu beobachtbare Entwicklung der KI-Nutzung in Organisationen. Bemerkenswert finde ich, dass in dem Report auch hervorgehoben wird, dass ChatGPT und die bekannten KI-Assistenten genutzt werden. Generell halte ich das für bedenklich, da diese Anwendungen mit ihren Trainingsdatenbanken (Large Language Models) intransparent sind, und die Organisation nicht wirklich weiß, was mit den eingegebenen Daten passiert. Auf die mögliche Nutzung von Open Source AI wird in dem IPMA-Report nicht eingegangen – schade.

    Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

    AI as Engineering: Führt die Perspektive zu unlösbaren Problemen?

    AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

    Grundsätzlich gibt es verschiedene Perspektiven auf Künstliche Intelligenz (AI: Artificial Intelligence). Die aktuell dominierende Perspektive ist die, AI aus der Perspektive des Ingenieurwesens zu betrachten (Siehe Tabelle). Dabei wird davon ausgegangen, dass Intelligenz in AI-Systemen nachgebildet werden kann. Intelligenz wird dabei oftmals mit dem Intelligenz-Quotienten gleich gesetzt, der in Tests (Intelligenz-Tests) mit Hilfe einer Zahl, dem Intelligenz-Quotienten IQ dargestellt werden kann. Bei dieser Betrachtung auf Intelligenz erstaunt es daher nicht, dass die leistungsfähigsten AI-Systeme locker einen hohen IQ-Wert erreichen. Siehe dazu OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler?.

    Idea/DescriptionLable
    Intelligence can be recreated in artificial systems AI-as-engineeringAI-as-Engineering
    Cognition is, or can be understood as, a form of computation AI-as-psychology (a.k.a. computationalism)AI-as-Psychology (a.k.a. computationalism)
    Humans can be replaced by artificial systems AI-as-ideologyAI-as-Ideology
    The label ‘AI’ helps to sell technologies and gain fundingAI-as-Marketing
    Quelle: van Roij et al. (2024): Reclaiming AI as a Theoretical Tool for Cognitive Science

    Forscher haben nun in einem Paper dazu Stellung genommen und verschiedene Situationen mit ingenieurwissenschaftlichen Ansätzen überprüft. Das Ergebnis ist ernüchternd: AI-as-Engineering führt zu unlösbaren Problemen. Unlösbar in dem Sinne, dass die menschliche Intelligenz in vielen Facetten ingenieurwissenschaftlich nicht abgebildet werden kann.

    “This means that any factual AI systems created in the short-run are at best decoys. When we think these systems capture something deep about ourselves and our thinking, we induce distorted and impoverished images of ourselves and our cognition. In other words, AI in current practice is deteriorating our theoretical understanding of cognition rather than advancing and enhancing it. The situation could be remediated by releasing the grip of the currently dominant view on AI and by returning to the idea of AI as a theoretical tool for cognitive science. In reclaiming this older idea of AI, however, it is important not to repeat conceptual mistakes of the past (and present) that brought us to where we are today” (ebd.).

    AI kann natürlich viele Probleme lösen, die vorher so nicht, oder nur zu hohen Kosten lösbar waren. Das heißt allerdings noch lange nicht, dass die vielfältigen kognitiven und psychologischen Dispositionen von Menschen und ihre gesellschaftlichen Netzwerke genau so abgebildet werden können. Es ist verständlich, dass uns die Tech-Industrie das glauben machen will, doch sollten wir die Technologie stärker in den Dienst der Menschen stellen. Wenn wir das nicht machen, gehen die Profite an die großen Tech-Konzerne, wobei die gesellschaftlichen Auswirkungen bei den jeweiligen Ländern hängen bleiben. Eine Gesellschaft ist keine profitorientierte Organisation.

    Künstliche Intelligenz und Open Innovation

    AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

    Zunächst sollten Sie sich noch einmal klar machen, wie sich Closed Innovation und Open Innovation unterscheiden. Wie so oft, gibt es nicht nur die beiden Pole, sondern ein Innovations-Kontinuum (Roth 2008). Weiterhin finden Sie in dem Beitrag Künstliche Intelligenz im Innovationsprozess von Organisationen Hinweise dazu, welche Vorteile, bzw. Nachteile es geben kann, wenn für jeden Schritt im Innovationsprozess eines der bekannten KI-Modelle wie ChatGPT, Gemeni etc. genutzt wird.

    In diesem Beitrag geht es mir darum aufzuzeigen, wie Künstliche Intelligenz bei Open Innovation genutzt werden kann. Wie der folgenden Tabelle zu entnehmen ist, kann zwischen der Verbesserung von Open Innovation durch KI (OI-Enhancing AI), einer Ermöglichung von Open Innovation durch KI (OI-Enabling AI) und der Ersetzung von Open Innovation durch KI (OI-Peplacing AI) unterschiedenen werden. Die jeweils genannten Beispiele zeigen konkrete Einsatzfelder.

    DescriptionExamples
    OI-Enhancing AIAI that enhances established forms of open innovation by utilizing the advantages of AI complemented with human involvementInnovation search
    Partner search
    Idea evaluation
    Resource utilization
    OI-Enabling AIAI that enables new forms of open innovation, based upon AI’s potential to coordinate and/or generate innovationAI-enabled markets
    AI-enabled open business models
    Federated learning
    OI-Replacing AIAI that replaces or significantly reshapes established forms of open innovationAI ideation
    Synthetic data
    Multi-agent systems
    Quelle: Holgersson  et al. (2024)

    Alle drei Möglichkeiten – mit den jeweils genannten Beispielen – können von einem KI-Modell (z.B. ChatGPT oder Gemeni etc.) der eher kommerziell orientierten Anbieter abgedeckt werden. Dieses Vorgehen kann als One Sizes Fits All bezeichnet werden.

    Eine andere Vorgehensweise wäre, verschiedene spezialisierte Trainingsmodelle (Large Language Models) für die einzelnen Prozessschritte einzusetzen. Ein wesentlicher Vorteil wäre, dass solche LLM viel kleiner und weniger aufwendig wären. Das ist gerade für Kleine und Mittlere Unternehmen (KMU) von Bedeutung.

    Nicht zuletzt kann auch immer mehr leistungsfähige Open Source AI eingesetzt werden. Dabei beziehe ich mich auf die zuletzt veröffentlichte Definition zu Open Source AI. Eine Erkenntnis daraus ist: OpenAI ist kein Open Source AI. Die zuletzt veröffentlichten Modelle wie TEUKEN 7B oder auch Comon Corpus können hier beispielhaft für “wirkliche” Open source AI genannt werden.

    Weiterhin speilen in Zukunft AI Agenten – auch Open Source – eine immer wichtigere Rolle.

    Künstliche Intelligenz im Innovationsprozess von Organisationen

    Quelle: AdobeStock_650993865

    Innovationen sind für eine Gesellschaft, und hier speziell für marktorientierte Organisationen wichtig, um sich an ein verändertes Umfeld anzupassen (inkrementelle Innovationen), bzw. etwas ganz Neues auf den Markt zu bringen (disruptive Innovationen).

    Organisationen können solche Innovationen in einem eher geschlossenen Innovationsprozess (Closed Innovation) oder in einem eher offenen Innovationsprozess (Open Innovation) entwickeln.

    Darüber hinaus können die Innovationen von Menschen (People Driven) oder/und von Technologie (Data Driven) getrieben sein. Aktuell geht es in vielen Diskussionen darum, wie Künstliche Intelligenz (AI: Artificial Intelligence) und die damit verbundenen Trainingsdaten (LLM: Large Language Models) im Innovationsprozess genutzt werden können.

    Im einfachsten Fall würde sich eine Organisation den Innovationsprozess ansehen, und in jedem Prozessschritt ein Standard-KI-Modell wie ChatGpt, Gemini, Bart usw. nutzen. Die folgende Tabelle stellt das grob für einen einfachen Innovationsprozess nach Rogers (2003) dar:

    Opportunity identification and idea generationIdea evaluation and selectionConcept and solution developmentCommercialization launch phase
    e.g. identifying user needs, scouting promising technologies, generating ideas;e.g. idea assessment, evaluatione.g. prototyping, concept testinge.g. marketing, sales, pricing
    ChatGPT, Gemeni, etc.ChatGPT, Gemini, etc.ChatGPT, Gemini, etc.ChatGPT, Gemini, etc.
    Eigene Darstellung

    Dieser Ansatz könnte als One Size fits all interpretiert werden: Eine Standard-KI für alle Prozessschritte.

    Dafür sprechen verschiedene Vorteile:
    – Viele Mitarbeiter haben sich schon privat oder auch beruflich mit solchen Standard-KI-Modelle beschäftigt, wodurch eine relativ einfache Kompetenzentwicklung möglich ist.
    – Die kommerziellen Anbieter treiben AI-Innovationen schnell voran, wodurch es fast “täglich” zu neuen Anwendungsmöglichkeiten kommt.
    – Kommerzielle Anbieter vernetzen KI-Apps mit ihren anderen Systemen, wodurch es zu verbesserten integrierten Lösungen kommt.

    Es gibt allerdings auch erhebliche Nachteile:
    – Möglicherweise werden auch andere Organisationen/Wettbewerber so einen Ansatz wählen, sodass kaum ein grundlegendes Alleinstellungsmerkmal erzielt werden kann.
    – Kritisch ist auch heute noch, ob es sich bei den verwendeten Trainingsdaten (Large Language Models) nicht um Urheberrechtsverletzungen handelt. Etliche Klagen sind anhängig.
    – Weiterhin können die für Innovationen formulierte Prompts und Dateien durchaus auch als Trainingsdaten verwendet werden.
    – Die LLM sind nicht transparent und für alle zugänglich, also sie sind keine Open Source AI, auch wenn das von den kommerziell betriebenen KI-Modellen immer wieder suggeriert wird.
    – Organisationen sind anhängig von den Innovationsschritten der kommerziellen Anbieter.
    – Die Trainingsdatenbanken (Large Language Models) werden immer größer und damit natürlich auch teurer.
    – Nicht zuletzt ist unklar, wie sich die Kosten für die kommerzielle Nutzung der KI-Apps in Zukunft entwickeln werden – eine gerade für kleine und mittlere Unternehmen (KMU) nicht zu unterschätzende Komponente.

    Gerade kleine und mittlere Unternehmen (KMU) sollten die genannten Vorteile und Nachteile abwägen und überlegen, wie sie Künstliche Intelligenz in ihrem Innovationsprozess nutzen wollen.

    In unserem Blog werde ich in der nächsten Zeit weitere Möglichkeiten aufzeigen.