Veröffentlicht am

Open Source KI-Agenten: Update auf Langflow 1.4

Eigener Screenshot

Die Abhängigkeit von amerikanischen oder chinesichen KI-Anbietern ist zu einem großen Problem in Europa geworden, da wir in Europa einen anderen Ansatz im Umgang mit Künstlicher Intelligenz haben. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Um die eigene Digitale Souveränität wiederzuerlangen, setzen immer mehr Organisationen auf Open Source Anwendungen. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Wir haben beispielsweise im ersten Schritt Nextcloud als Alternative zu den bekannten Microsoft-Produkten auf einem eigenen Server installiert, und weitere Bausteine wie Open Project, Moodle usw. integriert. In Nextcloud ist ein Assistent integriert, über den wir auch KI-Modelle lokal (LocalAI) auf unserem Server nutzen können. Siehe dazu auch LocalAI: Aktuell können wir aus 713 Modellen auswählen.

Eine professionelle Möglichkeit, KI-Agenten zu nutzen – also Prozesse mit internen/externen Daten und KI-Modellen zu kombinieren – haben wir mit Langflow (Open Source) auf unserem Server installiert. Siehe dazu AI Agents: Langflow (Open Source) auf unserem Server installiert. Mit der neuen Version 1.4 stehen uns nun stark erweiterte Funktionen zur Verfügung. In dem Beitrag Langflow 1.4: Organize Workflows + Connect with MCP werden diese ausführlich erläutert:

This release introduces Projects, a new way to organize, modularize, and expose your AI workflows.

Beyond organization, Projects are now also MCP servers! MCP (Model Context Protocol) is an open standard from Anthropic designed to establish seamless interoperability between LLM applications and external tools, APIs, or data sources.

In der nächsten Zeit werden wir verschiedene Anwendungen für KI-Agenten testen und unsere Erafhrungen hier mitteilen.

Veröffentlicht am

AI City und Emotionale Intelligenz

Image by Andrey_and_Olesya from Pixabay

Auch bei dem Thema Smart City wird oft der Begriff “Intelligenz” verwendet. Dabei denkt man meistens an die noch vorherrschende Meinung, dass sich Intelligenz in einem Intelligenz-Quotienten (IQ), also in einer Zahl, darstellen lässt.

Die Entgrenzungstendenzen bei dem Thema Intelligenz in den letzten Jahrzehnten zeigen allerdings, dass der Intelligenz-Quotient gerade bei komplexen Problemlösungen nicht mehr ausreicht – somit keine Passung mehr zur Wirklichkeit hat. Begriffe wie “Soziale Intelligenz”, “Multiple Intelligenzen” oder auch “Emotionale Intelligenz” werden in diesem Zusammenhang genannt. Am Beispiel einer Smart City, oder später einer AI City, wird das wie folgt beschrieben:

“For a smart city, having only “IQ” (intelligence quotient) is not enough; “EQ” (emotional quotient) is equally essential. Without either, the abundant data generated and accumulated in urban life may either remain dormant and isolated or be used solely for data management without truly serving the people. In the concept of an AI-driven city, emotional intelligence refers to utilizing technological means to better perceive the emotions of citizens in the era of the “Big Wisdom Cloud.” This involves actively expressing urban sentiment, self-driving and motivating the emotions of citizen communities, empathizing with the vulnerable in the city, and establishing a comprehensive sentiment feedback mechanism” (Wu 2025).

Es wird in Zukunft immer wichtiger werden, ein besseres Verständnis von Intelligenz zu entwickeln, das besser zu den heutigen Entwicklungen passt. Die angesprochene Entgrenzung des Konstrukts “Intelligenz” ist dabei ein Ansatz, die Perspektive auf Intelligenz als biopsychologisches Potential eine weitere:

„Ich verstehe eine Intelligenz als biopsychologisches Potenzial zur Verarbeitung von Informationen, das in einem kulturellen Umfeld aktiviert werden kann, um Probleme zu lösen oder geistige oder materielle Güter zu schaffen, die in einer Kultur hohe Wertschätzung genießen“ (Gardner 2002:46-47).

Diese Beschreibung von Intelligenz würde den Begriff “Künstliche Intelligenz” dann eher als Kategorienfehler bezeichnen. Siehe dazu auch OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler?

Veröffentlicht am

Von der Smart City zur AI City

Image by xegxef from Pixabay

Das Konzept einer Smart City wird in vielen Regionen der Welt schon umgesetzt: “In einer Smart City wird intelligente Informations- und Kommunikationstechnologie (IKT) verwendet, um Teilhabe und Lebensqualität zu erhöhen und eine ökonomisch, ökologisch und sozial nachhaltige Kommune oder Region zu schaffen” (BSI). Der Schwerpunkt liegt somit auf der Verwendung von IKT.

Nun gibt es mit Hilfe der Künstlichen Intelligenz (AI: Artificial Intelligence) ganz neue Möglichkeiten, die über das Konzept einer Smart City hinausgehen. Der folgende Text stammt aus einem Buch des führenden Wissenschaftlers, der sich mit dem Konzept einer “AI City” befasst:

“The essence of an AI city is empowerment. In the definition of “AI city,” the city obtains strong empowerment in urban organization and civilization development with the help of AI. The past process of urban intelligence emphasized information networking and promoted the comprehensive construction of smart cities. But the AI city is different: the city begins to learn and, after learning, better empowers life, production, and ecology through the learning process in order to continuously improve the energy level. The data of the daily operation of the city has become the different raw materials of AI technology, once data integration is fully achieved— spanning macro-level aspects such as society, economy, environment, and transportation, down to micro-level aspects such as individual and group activities—the overall functioning of the city will significantly improve. It is not the simple general smart city, but the intelligence that can learn. In the AI 2.0 era, with the break-through of the five key technologies of big data intelligence, swarm intelligence, autonomous unmanned systems, cross-media intelligence, and hybrid enhanced intelligence, the ability of AI city learning, problem solving, and empowerment has been greatly improved, moreover, numerous patterns and insights can be discovered within massive datasets. Therefore, the city began to iterate, and the urban agglomeration began to interact deeply. After learning, AI can formulate city rules according to a reasonable ideal vision. And when this formulation becomes the goal of deduction, the city can constantly predict, evolve, and revise itself” (Wu 2025: The AI City).

Die neuen Chancen der Künstlichen Intelligenz in Städten oder Ballungszentren, für die Menschen und deren Probleme zu nutzen, sollte dabei auf Transparenz bei den verwendeten KI-Anwendungen basieren. Diese Bedingung erfüllen die meisten Closed Source Modelle der Tech-Giganten aktuell nicht. Wenn es wirklich um die Menschen geht, und nicht primär im wirtschaftliche Interessen (USA) oder parteipolitische Interessen (China), so kommen für mich hier nur Open Source KI-Modelle und – Anwendungen infrage.

Veröffentlicht am

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Aktuell überschlagen sich die Meldungen darüber, wie die Zukunft von Künstlicher Intelligenz (AI: Artificial Intelligence) wohl aussehen wird. Die Dynamik ist in diesem Feld allerdings so groß, dass es unmöglich ist, genauere Voraussagen zu machen.

Dennoch glauben einige, dass ein Modell, wie z.B. ChatGPT, Gemini usw. mit ihren vielfältigen Möglichkeiten, die Lösung für alles sein wird. Grundannahme ist hier also One Size fits all.

Demgegenüber steht der Gedanke, dass es viele unabhängig und vernetzt nutzbare KI-Anwendungen geben wird, die eher den Anforderungen der Menschen und Organisationen entsprechen. Weiterhin sollten diese KI-Apps Open Source sein, also offen und transparent. Dazu habe ich den folgenden aktuellen Text gefunden:

“The future of AI is not one amazing model to do everything for everyone (you will hear us tell you time and time again in this book: one model will not rule them all). AI’s future will not just be multimodal (seeing, hearing, writing, and so on); it will also most certainly be multimodel (in the same way cloud became hybrid). AI needs to be democratized—and that can only happen if we collectively leverage the energy and the transparency of open source and open science—this will give everyone a voice in what AI is, what it does, how it’s used, and how it impacts society. It will ensure that the advancements in AI are not driven by the privileged few, but empowered by the many” (Thomas, R.; Zikopoulos, P.; Soule, K. 2025).

Es wird hier noch einmal deutlich herausgestellt, dass Künstliche Intelligenz demokratisiert werden muss. Das wiederum kann durch Open Source und Open Science ermöglicht werden. Siehe dazu auch

Digitale Souveränität: Europa, USA und China im Vergleich

Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co.

RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen

Von Democratizing Innovation zu Free Innovation

Veröffentlicht am

In Europa gibt es immer mehr länderspezifische LLM (Large Language Models) – wie z.B. AI Sweden

Screenshot von der Website AI Sweden

In dem Blogbeitrag Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data hatte ich schon erläutert, wie wichtig es ist, dass sich Organisationen und auch Privatpersonen nicht nur an den bekannten AI-Modellen der Tech-Giganten orientieren. Ein wichtiges Kriterien sind die dort oftmals hinterlegten Daten, die natürlich zum überwiegenden Teil in Englisch (oder Chinesisch) vorliegen.

In Europa haben wir gegenüber China und den USA in der Zwischenzeit ein eigenes Verständnis von der gesellschaftlichen Nutzung der Künstlichen Intelligenz entwickelt (Blogbeitrag). Dabei spielen die technologische Unabhängigkeit (Digitale Souveränität) und die europäische Kultur wichtige Rollen.

Die jeweiligen europäischen Kulturen drücken sich in den verschiedenen Sprachen aus, die dann auch möglichst Bestandteil der in den KI-Modellen genutzten Trainingsdatenbanken (LLM) sein sollten – damit meine ich nicht die Übersetzung von englischsprachigen Texten in die jeweilige Landessprache.

Ein Beispiel für so eine Entwicklung ist AI SWEDEN mit dem veröffentlichten GPT-SW3 (siehe Abbildung). Das LLM ist im Sinne der Open Source Philosophie (FOSS: Free Open Source Software) transparent und von jedem nutzbar – ohne Einschränkungen.

“GPT-SW3 is the first truly large-scale generative language model for the Swedish language. Based on the same technical principles as the much-discussed GPT-4, GPT-SW3 will help Swedish organizations build language applications never before possible” (Source).

Für schwedisch sprechende Organisationen – oder auch Privatpersonen – bieten sich hier Möglichkeiten, aus den hinterlegten schwedischen Trainingsdaten den kulturellen Kontext entsprechend Anwendungen zu entwickeln. Verfügbar ist das Modell bei Huggingface.

Veröffentlicht am

Künstliche Intelligenz: Wie hängen Modelle, Agenten und Tools zusammen?

General agent architecture and components (Wiesinger et al. (2024): Agents)

In der letzten Zeit kommt immer mehr der Begriff AI Agent – oder auch Gen AI Agent – auf. Mit Hilfe der Abbildung möchte ich die Zusammenhänge der verschiedenen Komponenten erläutern.

Die Modelle (Model), oft als Language Models, Small Language Models oder Large Language Models (LLM) bezeichnet, enthalten eine sehr große Menge an Trainingsdaten. Dabei können Open Source AI Models, Open Weights Models und Closed AI Models unterschieden werden. An dieser Stelle merkt man schon, wie wichtig die Auswahl eines geeigneten Modells ist. Diese Modelle sind üblicherweise nicht auf typische Tools oder Kombinationen von Tools trainiert. Oftmals wird dieser Teil dann mit Hilfe von immer detaillierteren Eingaben (Prompts, Dateien etc.) des Users spezifiziert.

Die Beschränkungen von Modellen bei der Interaktion mit der “äußeren Welt” kann durch geeignete Tools erweitert werden. Dazu können spezielle Datenbanken, API-Schnittstellen usw. genutzt werden. Siehe dazu auch RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen.

Der AI Agent orchestriert nun alle Komponenten, wie die Eingabe des Users, das jeweilige Modell (oder sogar mehrere), die Tools und gibt das Ergebnis (Output) für den User in der gewünschten Form aus.

Die Möglichkeit, AI Agenten zu erstellen, bieten in der Zwischenzeit viele kommerzielle KI-Anbieter an. Wir gehen demgegenüber den Weg, Open Source AI auf unserem Server zu installieren und zu nutzen:

AI Agenten konfigurieren wir mit Langflow (Open Source). Dabei können wir in Langflow auf sehr viele Open Source AI Modelle über Ollama (Open Source) zugreifen, und vielfältige Tools integrieren. Alle Daten bleiben dabei auf unserem Server.

Veröffentlicht am

RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen

Gerade Kleine und Mittlere Unternehmen (KMU) können es sich oftmals nicht leisten, eigene Trainingsmodelle (Large Language Models) zu entwickeln. KMU greifen daher gerne auf bekannte Modelle wie ChatGPT usw. zurück.

Es wird allerdings gerade bei innovativen KMU immer klarer, dass es gefährlich sein kann, eigene Datenbestände in z.B. ChatGPT einzugeben. Da diese Modelle nicht transparent sind ist unklar, was mit den eigenen Daten passiert.

Eine Möglichkeit aus dem Dilemma herauszukommen ist, RAG (Retrieval-Augmented Generation) zu nutzen – also ein Basismodell mit einer internen Wissensbasis zu verknüpfen:

“Retrieval-Augmented Generation (RAG): Bei RAG wird ein Basismodell wie GPT-4, Jamba oder LaMDA mit einer internen Wissensbasis verknüpft. Dabei kann es sich um strukturierte Informationen aus einer Datenbank, aber auch um unstrukturierte Daten wie E-Mails, technische Dokumente, Whitepaper oder Marketingunterlagen handeln. Das Foundation Model kombiniert die Informationen mit seiner eigenen Datenbasis und kann so Antworten liefern, die besser auf die Anforderungen des Unternehmens zugeschnitten sind” (heise business services (2024): KI für KMU: Große Sprachmodelle erfolgreich einsetzen – mit Finetuning, RAG & Co.).

Wir gehen noch einen Schritt weiter, indem wir (1) einerseits LocalAI und Open Source AI mit einem Assistenten nutzen, und (2) darüber hinaus mit Hilfe von Ollama und Langflow eigene KI-Agenten entwickeln, die auf Basis von Open Source AI Modellen und beliebig konfigurierbaren eigenen Input einen gewünschten Output generieren In dem gesamten Prozess bleiben alle Daten auf unserem Server.

Veröffentlicht am

Künstliche Intelligenz: Mit Private Prompts (Open Source) bleiben die Daten auf dem eigenen Rechner

Was passiert eigentlich mit meinen Daten, wenn ich Künstliche Intelligenz nutze? Bei Anweisungen (Prompts) an das jeweilige KI-Modell ist oft nicht klar, was mit den Daten passiert, da viele der bekannten Modelle – wie beispielsweise ChatGPT – Closed Source Models, also nicht transparent sind.

Gerade wenn es um persönliche Daten geht, ist das unangenehm. Es ist daher sehr erfreulich, dass die Entwicklung eines Tools, dass die privaten Daten schützt öffentlich gefördert wurde und als Open Source Anwendung frei zur Verfügung steht.

“Mit der kostenlosen Anwendung Private Prompts bleiben deine Daten dort, wo sie hingehören – bei dir auf deinem Rechner. Die Entwicklung von Private Prompts wird im Zeitraum 1.9.2024-28.02.2025 gefördert durch das Bundesministerium für Bildung und Forschung und den Prototype Fund (Förderkennzeichen 01IS24S44)” (Quelle: https://www.privateprompts.org/).

Wir gehen noch einen Schritt weiter, in dem wir LocalAI auf unserem Server installiert haben. Wir nutzen dabei verschiedene Modelle, die als Open Source AI bezeichnet werden können. Siehe dazu

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Veröffentlicht am

Mit Künstlicher Intelligenz und Online-Daten von Verbrauchern können (auch eigene) Produkte direkt entwickelt werden

Mit Hilfe der hybriden Wettbewerbsstrategie Mass Customization (PDF) ist es Unternehmen möglich, Produkte zu individualisieren, ohne dass der Preis höher ist, als bei massenhaft hergestellten Produkten. Kernelement ist dabei ein Konfigurator, mit dem der Kunde selbst in einem definierten Lösungsraum (fixed solution space) vielfältige Möglichkeiten zusammenstellen kann. In der Zwischenzeit gibt es allerdings mit Künstlicher Intelligenz noch ganz andere Optionen für Mass Customization.

Künstliche Intelligenz kann für einen Verbraucher Produkte und Dienstleistungen entwickeln und anbieten, nur auf Basis der vom Konsumenten generierten Daten – sogar ohne die aktive Mitwirkung des Konsumenten. Damit bringt Künstliche Intelligenz Mass Customization auf ein neues Level: Smart Customization.

“But this is one area where AI can take mass customization to a new level: The growth of AI and machine learning can allow us to use all the data traces consumers leave online to design a perfect product for an individual consumer, without their active involvement. AI can evolve into the ability to perfectly customize a product for a consumer, without the
need for a conscious process of elicitation from the consumer. As a consumer, I could specify what I want for aesthetics, while for functional parameters, it could be the system that senses what I want and desire. An algorithm reading your Instagram profile might know better than you do about your dream shirt or dress. I see a lot of opportunity to use the data that’s out there for what I call smart customization” (Piller, Frank T. and Euchner, James, Mass Customization in the Age of AI (June 07, 2024). Research-Technology Management, volume 67, issue 4, 2024 [10.1080/08956308.2024.2350919], Available at SSRN: https://ssrn.com/abstract=4887846).

Dieser Ansatz ist natürlich für Unternehmen interessant, da sie die umständlichen und teuren Befragungen von Verbraucher nicht mehr – oder etwas weniger – benötigen, um angemessene Produkte anzubieten.

Es gibt allerdings auch noch eine andere Perspektive: Was ist, wenn die Verbraucher ihre eigenen Daten mit Hilfe von Künstlicher Intelligenz selbst nutzen, um eigene Produkte zu entwickeln? Im Extremfall – und mit Hilfe von modernen Technologien wie z.B. den 3D-Druck (Additive Manufacturing) – können sich die Verbraucher innovative Produkte selbst herstellen. Diese Option klingt etwas futuristisch, da wir es gewohnt sind, Innovationen mit Unternehmen in Verbindung zu bringen. Doch hat Eric von Hippel gezeigt, dass es immer mehr von diesen Open User Innovation gibt, die gar nicht in den üblichen Statistiken zu Innovation auftauchen. Siehe dazu auch

Eric von Hippel (2005): Democratizing Innovation

Free Innovation: Was wäre, wenn wir Innovationen stärker Bottom-Up denken und fördern würden?

Eric von Hippel (2017): Free Innovation

Veröffentlicht am

LocalAI: Das Open Source Modell olmOCR installiert

Eigener Screenshot

Wie schon in mehreren Blogbeiträgen erläutert, haben wir das Ziel, einen souveränen Arbeitsplatz zu gestalten, bei dem u.a. auch Künstliche Intelligenz so genutzt werden kann, dass alle eingegebenen und generierten Daten auf unserem Server bleiben.

Dazu haben wir LocalAI (Open Source) auf unserem Server installiert. Damit können wir aktuell aus mehr als 700 frei verfügbaren KI-Modellen je nach Bedarf auswählen. Zu beachten ist hier, dass wir nur Open Source AI nutzen wollen. Siehe dazu auch AI: Was ist der Unterschied zwischen Open Source und Open Weights Models?

Bei den verschiedenen Recherchen sind wir auch auf OLMo gestoßen. OLMo 2 ist eine LLM-Familie (Large Language Models), die von Ai2 – einer Not for Profit Organisation – entwickelt wurde und zur Verfügung gestellt wird:

“OLMo 2 is a family of fully-open language models, developed start-to-finish with open and accessible training data, open-source training code, reproducible training recipes, transparent evaluations, intermediate checkpoints, and more” (Source: https://allenai.org/olmo).

Unter den verschiedenen Modellen haben wir uns die sehr spezielle Version allenai_olmocr-7b-0225 in unserer LocalAI installiert – siehe Abbildung.

“olmOCR is a document recognition pipeline for efficiently converting documents into plain text” (ebd.)

Siehe dazu auch Efficient PDF Text Extraction with Vision Language Models.

Selbstverständlich werden wir demnächst auch noch andere Möglichkeiten aus der OLMo-Familie testen und Erfahrungen sammeln.