Open Source LLM und Proprietäres LLM in einer vereinfachten Gegenüberstellung

Mittelstand Digital Fokus Mensch (2026)

Generative Künstliche Intelligenz (GenKI) ist gerade bei Kleinen und Mittleren Unternehmen (KMU) ein spezielles Thema, da KMU oftmals undermanaged und underfinanced sind. KMU müssen daher beim Einsatz von Künstlicher Intelligenz darauf achten, dass nicht unnötig Ressourcen verschwendet werden. Dazu gehört auch, von Anfang an einen angemessenen Weg zur Nutzung Künstlicher Intelligenz einzuschlagen.

Damit meine ich nicht zu entscheiden, ob man ChatGPT, Gemini, Grok, Anthropic usw. einsetzen möchte, denn diese KI-Modelle (LLM: Large Language Models) sind eher proprietäre LLM, also herstellergebundene KI-Modelle mit Vor- und Nachteilen.

Die Abbildung zeigt dazu eine einfache Gegenüberstellung von Open Source LLM und proprietärer LLM. Es wird deutlich, dass die Einstiegshürden bei Open Source LLM zwar höher sind, doch die Open Source LLM bei Kosten, Datenschutz und Anpassung besser abschneiden. Was noch beobachtet werden muss, ist das jeweilige Leistungsniveau, das sich bei den Open Source LLM in den letzten Jahren stark verbessert hat.

Vor zwei Jahren dominierten proprietäre Modelle den Markt. Inzwischen hat sich viel getan. Beispiele sind Meta LLaMA 3, Mistral & Mixtral, Falcon, Gemma, OpenHermes und Ökosystem-Tools (Plattformen wie HuggingFace).

Kurz gesagt: Open-Source LLMs sind nicht mehr nur Forschungsprojekte, sondern in vielen Szenarien produktionsreif.

Quelle: vgl. Mittelstand Digital Fokus Mensch (2026): Digitale Souveränität als Basis für sichere KI-Anwendungen. EIN KURZLEHRBUCH | PDF

Gerade für Kleine und Mittlere Unternehmen (KMU) ist es an der Zeit, auf Basis von Open Source AI ihre eigene Digitale Souveränität aufzubauen. Mit dem genannte Handbuch können Sie sich ausführlicher darüber informieren und anfangen, entsprechende Kompetenzen aufzubauen.

KI-Agenten per Drag & Drop: Langflow for Desktop

https://www.langflow.org/desktop

Langflow ist Open Source basiert und bietet die Möglichkeit, einfache Flows oder auch komplexere KI-Agenten per Drag & Drop zu erstellen.

„Langflow is a powerful tool to build and deploy AI agents and MCP servers. It comes with batteries included and supports all major LLMs, vector databases and a growing library of AI tools“ (Langflow-Website).

Wir haben Langflow auf einem Server installiert, und einige Tests dazu durchgeführt – inkl. der Nutzung von Ollama. Unser Ziel ist es mit einfachen Tools, die Open Source basiert sind und kleine, frei verfügbare Trainingsmodelle (Small Language Models) zu nutzen. Siehe dazu unsere Blogbeiträge zu Langflow.

In diese Richtung geht nun auch die Möglichkeit, Langflow auf dem eigenen Desktop zu nutzen. Dazu kann man sich auf dieser Website die App herunterladen und installieren.

Der Vorteil liegt auf der Hand: Es ist kein Server erforderlich, auf dem Langflow installiert werden muss. Der Nachteil ist allerdings auch klar: Je nach Hardware-Ausstattung des eigenen Desktops sind die Möglichkeiten zur Nutzung größerer Modelle (Large Language Models) noch begrenzt. Wir werden es auf jeden Fall einmal ausprobieren.

OpenProject Version 17.2: Künstliche Intelligenz in Projekte einbinden

Quelle: https://www.openproject.org/de/blog/openproject-17-2-0-released/

OpenProject ist schon lange eine Alternative zu den proprietären Projektmanagement-Tools wie MS Project oder Jira etc. Die Integration von OpenProject in Nextcloud führt zu einer Kollaborationsplattform, bei der alle Daten auf dem eigenen Server bleiben und alle Anwendungen Open Source basiert sind. Siehe dazu unsere verschiedenen Blogbeiträge zu OpenProject.

Mit der Integration von OpenProject mit Nextcloud (Alternative zu Microsoft Sharepoint), inkl. TALK als Videokonferenzsystem (Alternative zu Microsoft Teams) etc. wurde schon ein wesentlicher Schritt in Richtung Digitale Souveränität am Arbeitsplatz gemacht.

Bei der Version OpenProject 17.2 gibt es eine Weiterentwicklung die es ermöglicht, Künstliche Intelligenz (Large Language Models oder Small Language Models) über einen sicheren MCP Server in die eigenen Projekte einzubinden.

MCP (Model Context Protocol) ist ein offener Standard von Anthropic über den LLM und externe Tools via APIs oder eigene Datenquellen eingebunden werden können.

Wie Sie wissen, schlagen wir in unseren Blogbeiträgen immer vor, Open Source AI und Open Source Software zu verwenden – möglichst auf dem eigenen Server. Dann bleiben alle Daten bei Ihnen und werden nicht von anderen genutzt – ganz im Sinne der Digitalen Souveränität.

Mistral Le Chat: Eine europäische Alternative zu ChatGPT

https://chat.mistral.ai/chat

Auf die neue Mistral 3 KI-Modell-Familie hatte ich schon im Dezember 2025 in einem Blogbeitrag hingewiesen. Das französische Start-Up wurde 2023 gegründet: „(…) the company’s mission of democratizing artificial intelligence through open-source, efficient, and innovative AI models, products, and solutions“ (Quelle: Website).

Dieses Demokratisieren von Künstlicher Intelligenz durch Open Source, als europäischer und DSGVO-konformer Ansatz, ist genau der Weg, den ich schon in verschiedenen Beiträgen vertreten habe. Es ist daher interessant, auch den in 2024 veröffentlichten Bot Le Chat im Vergleich beispielsweise zu ChatGPT zu testen.

Die Abbildung weiter oben zeigt die Landingpage für Le Chat mit einem einfachen Feld für die Eingabe eines Prompts. Man kann die Leistungsfähigkeit des Bots testen, ohne sich anmelden zu müssen. Ich habe mich also zunächst nicht angemeldet und einfach einmal eine Frage eingegeben, die mich aktuell beschäftigt: Es geht um die Unterschiede zwischen den Auffassungen von Henry Chesbrough und Eric von Hippel zu Open Innovation.

Ausschnitt aus der Antwort zum eingegebenen Prompt

Die Abbildung zeigt einen Ausschnitt aus der umfangreichen Antwort auf meine Frage, inkl. der generierten Gegenüberstellung der beiden Ansichten auf Open Innovation. Die Antwort kam sehr schnell und war qualitativ gut – auch im Vergleich zu ChatGPT.

Mistral Le Chat ist ein europäisches Produkt, das auch der DSGVO unterliegt und darüber hinaus neben französisch- und englischsprachigen, auch mit deutschsprachigen Daten trainiert wurde. Es ist spannend, sich mit den Mistral-KI-Modellen und mit Le Chat intensiver zu befassen.

Wir haben den kostenpflichtigen ChatGPT-Account in der Zwischenzeit gekündigt, und werden mehr auf Modell-Familien wie Mistral 3 und Mistral Le Chat setzen. Wir sind gespannt, wie sich die Open Source Alternativen in Zukunft weiterentwickeln – ganz im Sinne einer Digitalen Souveränität. Siehe dazu auch

Weitere Open Source AI-Modelle ausprobieren.

Das Kontinuum zwischen Closed Source AI und Open Source AI.

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Google Maps schränkt Funktionsumfang ein – Wechsel zu OpenStreetMap?

Screenshot: OpenStreetMap – Route: Frankfurt-München

Wir haben uns alle mehr oder weniger daran gewöhnt, die verschiedenen Apps von Google zu nutzen. Ob es der Browser Chrome ist, Google Drive, etc. oder auch Google Maps . Wie ich schon in mehreren Beiträgen geschrieben habe, kommt es bei den scheinbar kostenlosen Apps (wir zahlen mit unseren Daten) von Google, Microsoft und Co. nach einer Phase der Gewöhnung zu einem Lock-in. Diese Pfadabhängigkeit wird dann genutzt, um die bisherigen Gewohnheiten einzuschränken oder kostenpflichtig zu stellen.

Google Maps sieht die Zeit gekommen, bisher verfügbare Informationen auf den gewohnten Karten zu reduzieren, wenn man sich nicht mit dem Google Konto angemeldet hat. Der Hintergrund wird in dem Artikel Google Maps ohne Anmeldung nur noch eingeschränkt nutzbar (Pakolski 2026, auf Golem.de) ausführlicher dargestellt.

„Google schränkt den vollen Funktionsumfang von Google Maps weiter ein, wenn Anwender sich nicht mit einem Google-Konto anmelden. Wird Google Maps etwa im Browser ohne Anmeldung genutzt, fehlen alle Rezensionen und Bilder zu Restaurants, Geschäften oder Touristenattraktionen“ (ebd.).

Was kann man machen? Sich ärgern, und sich in Zukunft immer mit dem Google Konto anmelden? Das ist der bequeme Weg, den man mit seinen Daten „bezahlt“. Alles andere bedeutet einen Aufwand (Switching Costs), ja. Genau das ist das Kalkül von Google (und anderen).

Es gibt allerdings auch die Möglichkeit, sich von solchen Anwendungen nach und nach zu emanzipieren, und digital souveräner zu werden. Bei dem Beispiel Google Maps gibt es die Open Source Alternative OpenStreetMap (OSM). Folgende Informationen sind bei OSM-About zu finden:

OpenStreetMap stellt Kartendaten für tausende von Webseiten, Apps und andere Geräte zur Verfügung.

OpenStreetMap legt Wert auf lokales Wissen. Autoren benutzen Luftbilder, GPS-Geräte und Feldkarten zur Verifizierung, sodass OSM korrekt und aktuell ist.

Ja, OpenStreetMap ist gewöhnungsbedürftig, doch sollte jeder abwägen, ob er aus Bequemlichkeit kurzfristig eine digitale Abhängigkeit, oder eher mittelfristig eine Digitale Souveränität möchte.

Siehe dazu auch Digitale Souveränität: Welche Open Source Alternativen gibt es?

Common Crawl: Freie Daten für jeden?

Website: https://commoncrawl.org/

Large Language Models (LLMs) benötigen eine Unmenge an Daten. Bei den Closed Source KI-Modellen von OpenAI, Meta, etc. ist manchmal nicht so klar (Black Box), woher diese ihre Trainingsdaten nehmen. Eine Quelle scheint Common Crawl zu sein.

„Common Crawl maintains a free, open repository of web crawl data that can be used by anyone. The Common Crawl corpus contains petabytes of data, regularly collected since 2008“ (ebd.)

Die Daten werden von Amazon gehostet, können allerdings auch ohne Amazon-Konto genutzt werden. Eine Datensammlung, die für jeden frei nutzbar und transparent ist, und sogar rechtlichen und Datenschutz-Anforderungen genügt, wäre schon toll.

Doch es gibt auch Kritik: Wie auf der Wikipedia-Seite zu Common Crawl zu lesen ist, respektiert Common Crawl wohl nicht immer Paywalls bei ihrer Datensammlung: Wired (2024): Publishers Target Common Crawl In Fight Over AI Training Data.

Es ist also Vorsicht geboten, wenn man Common Crawl nutzen möchte. Dennoch kann diese Entwicklung interessant für diejenigen sein, die ihr eigenes, auf den Werten von Open Source AI basierendes KI-Modell nutzen wollen. Siehe dazu auch

Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Loyal Agents – it all starts with trust

Website: https://loyalagents.org/

KI-Agenten sind aktuell in aller Munde. Gerade in Software-Unternehmen wurde schon früh damit angefangen, Agenten zu nutzen: KI-Agenten können bis zu 30% der realen Aufgaben eines Unternehmens autonom übernehmen.

Im Außenverhältnis, z.B. mit Kunden , wird es schon schwieriger, KI-Agenten einzusetzen, da hier weitergehende Herausforderungen zu bewältigen sind. Es wundert daher nicht, dass es an dieser Stelle Forschungsbedarf gibt.

In dem Projekt Loyal Agents arbeiten dazu beispielsweise das Stanford Digital Economy Lab und Consumer Report zusammen. Worum es ihnen geht, haben sie auf der Website Loyal Agents so formuliert:

„Agentic AI is transforming commerce and services; agents are negotiating, transacting and making decisions with growing autonomy and impact. While agents can amplify consumer power, there is also risk of privacy breaches, misaligned incentives, and manipulative business practices. Trust and security are essential for consumers and businesses alike“ (ebd.).

Dass Vertrauen und Sicherheit eine besonders wichtige Bedeutung in den Prozessen mit der Beteiligung von KI-Agenten haben, wird hier noch einmal deutlich – It all starts with Trust. Ähnliche Argumente kommen von Bornet, der sich für Personalized AI Twins ausspricht:

Personal AI Twins represent a profound shift from generic to deeply personalized agents. Unlike today´s systems that may maintain the memory of past interactions but remain fundamentally the same for all users, true AI twins will deeply internalize an individual´s thinking patterns, values, communication style, and domain expertise“ (Bornet et al. 2025).

Möglicherweise können einzelne Personen in Zukunft mit Hilfe von Personalized AI Twins oder Loyal Agents ihre eigenen Ideen besser selbst entwickeln, oder sogar als Innovationen in den Markt bringen. Dabei empfiehlt sich aus meiner Sicht die Nutzung von Open Source AI – ganz im Sinne einer Digitalen Souveränität und im Sinne von Open User Innovation nach Eric von Hippel. Siehe dazu auch

Eric von Hippel (2017): Free Innovation

Von Democratizing Innovation zu Free Innovation

Open Source AI: SERA – Open Coding Agents at low cost

Source: https://allenai.org/blog/open-coding-agents

Das Ai2 Institut hat immer wieder interessante KI-Modelle auf Open Source Basis veröffentlicht. Unter anderem sind das die OLMO 3 – Familien oder auch MOLMO mit Schwerpunkt auf Videos. Mit der SERA ist es nun möglich, Open Coding Agents zu stellen, und das zu geringen Kosten.

„Today we’re releasing not just a collection of strong open coding models, but a training method that makes building your own coding agent for any codebase – for example, your personal codebase or an internal codebase at your organization – remarkably accessible for tasks including code generation, code review, debugging, maintenance, and code explanation. (…) The challenge: specializing agents to your data“ (Source: https://allenai.org/blog/open-coding-agents).

Die Modellfamilie (8B bis 32B) steht selbstverständlich auf Huggingface zur Verfügung, und kann auf eigenen Servern genutzt werden. Ganz im Sinne von Open Source AI und Digitalen Souveränität.

Warum öffnet OpenAI mit GPT OSS die Tür zu Open Source?

Quelle; https://openai.com/de-DE/index/introducing-gpt-oss/

In dem Kontinuum der KI-Modelle sind die Übergänge zwischen den Polen fließend. Immer mehr große Modelle bieten daher neben den Closed Models (Proprietäre Modelle) sogenannte Open Weights Modelle an.

OpenAI hat am 05.08.2025 GPT OSS veröffentlicht, das in der kleinsten Version mit 20B z.B. über Huggingface genutzt werden kann. Grundsätzlich erscheint diese Öffnung gut zu sein. Der Beitrag OpenAI Cracks The Door With GPT OSS vom 11.08.2025 geht darauf detaillierter ein. Ich möchte dazu folgende Punkte anmerken:

(1) OpenAI suggerierte bei der Gründung mit dem Namen, dass man sich den Open Source Werten verpflichtet fühlt. Seit 2019 ist OpenAI allerdings vorwiegend ein kommerzielles Unternehmen, das den Firmennamen für geschicktes Marketing nutzt.

(2) Der Modellname GPT OSS weist zunächst darauf hin, dass es sich um Open Source Software (OSS) handelt, was grundsätzlich zu begrüßen ist.

(3) Möglicherweise werden viele GTP OSS mit Open Source AI verwechseln, was möglicherweise auch gewollt ist. Ansonsten hätte das Unternehmen auch einen anderen Namen verwenden können.

(4) Bei GPT OSS handelt es sich nicht um Open Source AI, sondern um einen Open Weight Model: „Among the Big AI companies, attitudes towards openness vary. Some, like OpenAI or Anthropic, do not release any of their models openly. Others, like Meta, Mistral or Google, release some of their models. These models — for example, Llama, Mistral or Gemma — are typically shared as open weights models“ (Tarkowski, A. (2025): Data Governance in Open Source AI. Enabling Responsible and Systemic Access. In Partnership with the Open Source Initiative).

(5) Dabei ist zu beachten, dass man sich mit proprietärer Künstlicher Intelligenz (KI) immer noch die Denkwelt der Eigentümer einkauft.

Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Buyl et al. (2024): Large Language Models Reflect the Ideology of their Creators

Künstliche Intelligenz, Agiles Manifest, Scrum und Kanban

Bei Künstlicher Intelligenz denken aktuell die meisten an die KI-Modelle der großen Tech-Konzerne. ChatGPT, Gemini, Grok etc sind in aller Munde und werden immer stärker auch in Agilen Organisationen eingesetzt. Wie in einem anderen Blogbeitrag erläutert, sind in Agilen Organisationen Werte und Prinzipien mit ihren Hebelwirkungen die Basis für Praktiken, Methoden und Werkzeuge. Dabei beziehen sich viele, wenn es um Werte und Prinzipien geht, auf das Agile Manifest, und auf verschiedene Vorgehensmodelle wie Scrum und Kanban. Schauen wir uns einmal kurz an, was hier jeweils zum Thema genannt wird:

Agiles Manifest: Individuen und Interaktionen mehr als Prozesse und Werkzeuge
In der aktuellen Diskussion über die Möglichkeiten von Künstlicher Intelligenz werden die Individuen eher von den technischen Möglichkeiten (Prozesse und Werkzeuge) getrieben, wobei die Interaktion weniger zwischen den Individuen, sondern zwischen Individuum und KI-Modell stattfindet. Siehe dazu auch Mensch und Künstliche Intelligenz: Engineering bottlenecks und die fehlende Mitte.

SCRUM: Die Werte Selbstverpflichtung, Fokus, Offenheit, Respekt und Mut sollen durch das Scrum Team gelebt werden
Im Scrum-Guide 2020 wird erläutert, was die Basis des Scrum Frameworks ist. Dazu sind die Werte genannt, die u.a. auch die Offenheit thematisieren, Ich frage mich allerdings, wie das möglich sein soll, wenn das Scrum Team proprietäre KI-Modelle wie ChatGPT, Gemini, Grok etc. nutzt, die sich ja gerade durch ihr geschlossenes System auszeichnen? Siehe dazu auch Das Kontinuum zwischen Closed Source AI und Open Source AI.

KANBAN basiert auf folgenden Werten: Transparenz, Balance, Kooperation, Kundenfokus, Arbeitsfluss, Führung, Verständnis, Vereinbarung und Respekt.
Bei den proprietären KI-Modellen ist die hier angesprochene Transparenz kaum vorhanden. Nutzer wissen im Detail nicht, mit welchen Daten das Modell trainiert wurde, oder wie mit eingegebenen Daten umgegangen wird, etc.

In einem anderen Blogbeitrag hatte ich dazu schon einmal darauf hingewiesen, dass man sich mit proprietärer Künstlicher Intelligenz (KI) auch die Denkwelt der Eigentümer einkauft.

Um agile Arbeitsweisen mit Künstlicher Intelligenz zu unterstützen, sollte das KI-Modell den genannten Werten entsprechen. Bei entsprechender Konsequenz, bieten sich also KI-Modelle an, die transparent und offen sind. Genau an dieser Stelle wird deutlich, dass das gerade die KI-Modelle sind, die der Definition einer Open Source AI entsprechen – und davon gibt es in der Zwischenzeit viele. Es wundert mich daher nicht, dass die Open Source Community und die United Nations die gleichen Werte teilen.

Es liegt an uns, ob wir uns von den Tech-Giganten weiter in eine immer stärker werdende Abhängigkeit treiben lassen, oder andere Wege gehen – ganz im Sinne einer Digitalen Souveränität. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.