Veröffentlicht am

Digitale Souveränität: Open Source KI-Systeme fördern Innovationen für die gesamte Gesellschaft

https://www.robertfreund.de/blog/2024/10/28/open-source-ai-definition-1-0-release-candidate-2-am-21-10-2024-veroeffentlicht/

Die kommerziellen, proprietären KI-Systeme machen den Eindruck, als ob sie die einzigen sind, die Innovationen generieren. In gewisser weise stimmt das auch, wenn man unter Innovationen die Innovationen versteht, die sich diese Unternehmen wünschen. Fast jeden Tag gibt es neue Möglichkeiten, gerade diese KI-Modelle zu nutzen. Dieses Modelle treiben ihre Nutzer vor sich her. Wer nicht alles mitmacht wird der Verlierer sein – so das Credo.

Dabei stehen Trainingsdaten zur Verfügung, die intransparent sind und in manchen Fällen sogar ein Mindset repräsentieren, das Gruppen von Menschen diskriminiert.

Versteht man unter Innovationen allerdings, das Neues für die ganze Gesellschaft generiert wird, um gesellschaftlichen Herausforderungen zu bewältigen, so wird schnell klar, dass das nur geht, wenn Transparenz und Vertrauen in die KI-Systeme vorhanden sind – und genau das bieten Open Source AI – Systeme.

„Open-source AI systems encourage innovation and are often a requirement for public funding. On the open extreme of the spectrum, when the underlying code is made freely available, developers around the world can experiment, improve and create new applications. This fosters a collaborative environment where ideas and expertise are readily shared. Some industry leaders argue that this openness is vital to innovation and economic growth. (…) Additionally, open-source models tend to be smaller and more transparent. This transparency can build trust, allow for ethical considerations to be proactively addressed, and support validation and replication because users can examine the inner workings of the AI system, understand its decision-making process and identify potential biases“ (UN 2024)

Siehe dazu auch

Das Kontinuum zwischen Closed Source AI und Open Source AI

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Open Source AI: Kimi K2 Thinking vorgestellt

Open Source AI: OlmoEarth Modell-Familie veröffentlicht

Digitale Souveränität: Verschiedene Open Source AI-Modelle ausprobieren

Open Source AI: Veröffentlichung der ALIA AI Modelle für ca. 600 Millionen Spanisch sprechender Menschen weltweit

Veröffentlicht am

Apertus: Schweizer Open Source KI – Modell veröffentlicht

Image by Stefan Schweihofer from Pixabay

In der Zwischenzeit gibt es einen Trend zu Open Source KI-Modellen. Aktuell hat beispielsweise die ETH Zürich zusammen mit Partnern das KI-Modell Apertus veröffentlicht:

„Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell
Die EPFL, die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben am 2. September Apertus veröffentlicht: das erste umfangreiche, offene und mehrsprachige Sprachmodell aus der Schweiz. Damit setzen sie einen Meilenstein für eine transparente und vielfältige generative KI“ (Pressemitteilung der ETH Zürich vom 02.09.2025)

Der Name Apertus – lateinisch für offen – betont noch einmal das grundsätzliche Verständnis für ein offenes , eben kein proprietäres, KI-Modell, das u.a auch auf Hugging Face zur Verfügung steht. Die beiden KI-Modelle mit 8 Milliarden und 70 Milliarden Parametern bieten somit auch in der kleineren Variante die Möglichkeit, der individuellen Nutzung.

Es gibt immer mehr Personen, Unternehmen und öffentliche Organisationen, die sich von den Tech-Giganten im Sinne einer Digitalen Souveränität unabhängiger machen möchten. Hier bieten in der Zwischenzeit sehr viele leistungsfähige Open Source KI-Modelle erstaunliche Möglichkeiten- auch im Zusammenspiel mit ihren eigenen Daten: Alle Daten bleiben dabei auf Ihrem Server – denn es sind Ihre Daten.

Da das KI-Modell der Schweizer unter einer Open Source Lizenz zur Verfügung steht, werden wir versuchen, Apertus auf unseren Servern auch in unsere LocalAI, bzw. über Ollama in Langflow einzubinden.

Veröffentlicht am

Digitale Souveränität: Projekt SOOFI (Sovereign Open Source Foundation Models) gestartet

Quelle: Pressemitteilung | PDF | zu SOOFI

In unserem Blog habe ich schon oft über die notwendige Digitale Souveränität von einzelnen Personen, Organisationen und Länder geschrieben. Es wird dabei immer deutlicher, dass wir in Europa Modelle benötigen, die nicht vom Mindset amerikanischer Tech-Konzernen oder vom Mindset chinesischer Politik dominiert werden, und auf Open Source Basis zur Verfügung stehen.

So etwas soll nun mit SOOFI (Sovereign Open Source Foundation Models) entwickelt werden. In der Abbildung ist der prinzipielle Aufbau zu erkennen. Auf Basis geeigneter Daten können Foundation Models an die jeweiligen Bedürfnisse ganzer Branchen angepasst werden. Darauf aufbauend, schließen sich u.a. auch AI Agenten an.

„Ein wichtiger Schritt für die europäische KI-Souveränität: Unter SOOFI arbeiten zukünftig Wissenschaftlerinnen und Wissenschaftler aus 6 führenden deutschen Forschungseinrichtungen zusammen, um souveräne europäische Alternativen zu KI Technologien aus den USA und China bereitzustellen. Der Fokus liegt darin, mit den Modellen einen Beitrag für die industrielle Nutzung von KI zu leisten“ (Quelle: Pressemitteilung | PDF).

Möglicherweise interessieren Sie auch noch folgende Beiträge zum Thema:
Digitale Souveränität: Europa, USA und China im Vergleich
Von der digitalen Abhängigkeit zur digitalen Souveränität,
Digitale Souveränität: Welche Open Source Alternativen gibt es?
Digitale Souveränität: Souveränitätsscore für KI Systeme
Digitale Souveränität: Google Drive im Vergleich zu Nextcloud

Veröffentlicht am

Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Um digital souveräner zu werden, haben wir seit einiger Zeit Nextcloud auf einem eigenen Server installiert – aktuell in der Version 32. Das ist natürlich erst der erste Schritt, auf den nun weitere folgen – gerade wenn es um Künstliche Intelligenz geht.

Damit wir auch bei der Nutzung von Künstlicher Intelligenz digital souverän bleiben, haben wir zusätzlich LocalAI installiert. Dort ist es möglich, eine Vielzahl von Modellen zu testen und auszuwählen. In der folgenden Abbildung ist zu sehen, dass wir das KI-Modell llama-3.2-3B-instruct:q4_k_m für einen Chat ausgewählt haben. In der Zeile „Send a massage“ wurde der Prompt „Nenne wichtige Schritte im Innovationsprozess“ eingegeben. Der Text wird anschließend blau hinterlegt angezeigt. In dem grünen Feld ist ein Teil der Antwort des KI-Modells zu sehen.

LocalAI auf unserem Server: Ein Modell für den Chat ausgewählt

Im nächsten Schritt geht es darum, das gleiche KI-Modell im Nextcloud Assistant zu hinterlegen. Der folgende Screenshot zeigt das Feld (rot hervorgehoben). An dieser Stelle werden alle in unserer LocalAI hinterlegten Modelle zur Auswahl angezeigt, sodass wir durchaus variieren könnten. Ähnliche Einstellungen gibt es auch für andere Funktionen des Nextcloud Assistant.

Screenshot: Auswahl des Modells für den Nextcloud Assistenten in unserer Nextcloud – auf unserem Server

Abschließend wollen wir natürlich auch zeigen, wie die Nutzung des hinterlegten KI-Modells in dem schon angesprochenen Nextcloud Assistant aussieht. Die folgende Abbildung zeigt den Nextcloud Assistant in unserer Nextcloud mit seinen verschiedenen Möglichkeiten – eine davon ist Chat mit KI. Hier haben wir den gleichen Prompt eingegeben, den wir schon beim Test auf LocalAI verwendet hatten (Siehe oben).

Screenshot von dem Nextcloud Assistant mit der Funktion Chat mit KI und der Antwort auf den eigegebenen Prompt

Der Prompt ist auf der linken Seite zu erkennen, die Antwort des KI-Modells (llama-3.2-3B-instruct:q4_k_m) ist rechts daneben wieder auszugsweise zu sehen. Weitere „Unterhaltungen“ können erstellt und bearbeitet werden.

Das Zusammenspiel der einzelnen Komponenten funktioniert gut. Obwohl wir noch keine speziellen KI-Server hinterlegt haben, sind die Antwortzeiten akzeptabel. Unser Ziel ist es, mit wenig Aufwand KI-Leistungen in Nextcloud zu integrieren. Dabei spielen auch kleine, spezielle KI-Modelle eine Rolle, die wenig Rechenkapazität benötigen.

Alles natürlich Open Source, wobei alle Daten auf unseren Servern bleiben.

Wir werden nun immer mehr kleine, mittlere und große KI-Modelle und Funktionen im Nextcloud Assistant testen. Es wird spanned sein zu sehen, wie dynamisch diese Entwicklungen von der Open Source Community weiterentwickelt werden.

Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Wir behandeln oftmals Menschen wie Roboter und Künstliche Intelligenz wie Kreative

In den letzten Jahren wird immer deutlicher, dass Künstliche Intelligenz unser wirtschaftliches und gesellschaftliches Leben stark durchdringen wird. Dabei scheint es so zu sein, dass die Künstliche Intelligenz der Menschlichen Intelligenz weit überlegen ist. Beispielsweise kann Künstliche Intelligenz (GenAI) äußerst kreativ sein, was in vielfältiger Weise in erstellten Bildern oder Videos zum Ausdruck kommt. In so einem Zusammenhang behandeln wir Künstliche Intelligenz (AI: Artificial Intelligence) wie Kreative und im Gegensatz dazu Menschen eher wie Roboter. Dazu habe ich folgenden Text gefunden:

„We are treating humans as robots and ai as creatives. it is time to flip the equation“ (David de Cremer in Bornet et al. 2025).

David de Cremer ist der Meinung, dass wir die erwähnte „Gleichung“ umstellen sollten. Dem kann ich nur zustimmen, denn das aktuell von den Tech-Giganten vertretene Primat der Technik über einzelne Personen und sogar ganzen Gesellschaften sollte wieder auf ein für alle Beteiligten gesundes Maß reduziert werden. Damit meine ich, dass die neuen technologischen Möglichkeiten einer Künstlichen Intelligenz mit den Zielen von Menschen/Gesellschaften und den möglichen organisatorischen und sozialen Auswirkungen ausbalanciert sein sollten.

Der japanische Ansatz einer Society 5.0 ist hier ein sehr interessanter Ansatz. Auch in Europa gibt es Entwicklungen, die in diese Richtung gehen: Beispielsweise mit den Möglichkeiten von EuroLLM, einem Europäischen Large Language Model (LLM) auf Open Source Basis. Siehe dazu auch Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI.

Veröffentlicht am

KI-Modelle: Von „One Size Fits All“ über Variantenvielfalt in die Komplexitätsfalle?

In letzter Zeit gibt es immer mehr Meldungen, dass der Einsatz von Künstlicher Intelligenz in allen gesellschaftlichen Bereichen steigt. Doch nicht immer sind KI-Projekte erfolgreich und werden daher eingestellt – was bei neuen Technologien ja nicht ungewöhnlich ist. Siehe dazu beispielsweise Künstliche Intelligenz: 40% der Projekte zu Agentic AI werden wohl bis Ende 2027 eingestellt (Gartner).

Dennoch ist deutlich zu erkennen, dass es immer mehr Anbieter in allen möglichen Segmenten von Künstlicher Intelligenz – auch bei den Language Models – gibt. Wenn man sich alleine die Vielzahl der Modelle bei Hugging Face ansieht: Heute, am17.09.2025, stehen dort 2,092,823 Modelle zur Auswahl, und es werden jede Minute mehr. Das erinnert mich an die Diskussionen auf den verschiedenen (Welt-) Konferenzen zu Mass Customization and Personalization. Warum?

Large Language Models (LLM): One Size Fits All
Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von “One size fits all”. Diese Einschätzung wird natürlich von den Tech-Unternehmen vertreten, die aktuell mit ihren Closed Source Models das große Geschäft machen, und auch für die Zukunft wittern. Die Argumentation ist, dass es nur eine Frage der Zeit ist, bis das jeweilige Large Language Model die noch fehlenden Features bereitstellt – bis hin zur großen Vision AGI: Artificial General Intelligence. Storytelling eben…

Small Language Models (SLM): Variantenvielfalt
In der Zwischenzeit wird immer klarer, dass kleine Modelle (SLM) viel ressourcenschonender, in speziellen Bereichen genauer, und auch wirtschaftlicher sein können. Siehe dazu Künstliche Intelligenz: Vorteile von Small Language Models (SLMs) und Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK.

Komplexitätsfalle
Es wird deutlich, dass es nicht darum geht, noch mehr Möglichkeiten zu schaffen, sondern ein KI-System für eine Organisation passgenau zu etablieren und weiterzuentwickeln. Dabei sind erste Schritte schon zu erkennen: Beispielsweise werden AI-Router vorgeschlagen, die verschiedene Modelle kombinieren – ganz im Sinne eines sehr einfachen Konfigurators. Siehe dazu Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Mit Hilfe eines KI-Konfigurators könnte man sich der Komplexitätsfalle entziehen. Ein Konfigurator in einem definierten Lösungsraum (Fixed Solution Space) ist eben das zentrale Element von Mass Customization and Personalization.

Die Lösung könnte also sein, massenhaft individualisierte KI-Modelle und KI-Agents dezentralisiert für die Allgemeinheit zu schaffen. Am besten natürlich alles auf Open Source Basis – Open Source AI – und für alle in Repositories frei verfügbar. Auch dazu gibt es schon erste Ansätze, die sehr interessant sind. Siehe dazu beispielsweise (Mass) Personalized AI Agents für dezentralisierte KI-Modelle.

Genau diese Überlegungen erinnern – wie oben schon angedeutet – an die Hybride Wettbewerbsstrategie Mass Customization and Personalization. Die Entgrenzung des definierten Lösungsraum (Fixed Solution Space) hat dann weiter zu Open Innovation (Chesbrough und Eric von Hippel) geführt.

Veröffentlicht am

(Mass) Personalized AI Agents für dezentralisierte KI-Modelle

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Es wird von Tag zu Tag deutlicher: Mit der zunehmenden Verbreitung von Künstlicher Intelligenz (AI: Artificial Intelligence) kommen die zentralen, großen KI-Modelle (Large Language Models) mit ihrem Mangel an Transparenz und ihrem „laxen“ Umgang mit dem Urheberrecht oder auch mit dem Datenschutz, an Grenzen.

Einzelne Personen, Organisationen und auch Öffentliche Verwaltungen halten ihre Daten entsprechend zurück, wodurch Kooperation, Kollaboration und letztendlich auch Innovation behindert wird. Der Trend von den LLM (Large Language Models), zu Small Language Models (SLM), zu KI-Agenten, zusammen mit dem Wunsch vieler auch die eigenen Daten – und damit die eigene Expertise – für KI-Anwendungen zu nutzen, führt zu immer individuelleren, customized, personalized Modellen und letztendlich zu Personalized AI-Agents.

„Personal agents: Recent progress in foundation models is enabling personalized AI agents (assistants, co-pilots, etc.). These agents require secure access to private user data, and a comprehensive understanding of preferences. Scaling such a system to population levels requires orchestrating billions of agents. A decentralized framework is needed to achieve this without creating a surveillance state“ (Singh et al. 2024).

Forscher am Massachusetts Institute of Technology (MIT) haben diese Entwicklungen systematisch analysiert und sind zu dem Schluss gekommen, dass es erforderlich ist, Künstliche Intelligenz zu dezentralisieren: Decentralized AI.

Mein Wunsch wäre es in dem Zusammenhang, dass alle Anwendungen (Apps, Tools etc.) einzelnen Personen und Organisationen als Open Source zur Verfügung stehen, ganz im Sinne von Mass Personalization – nur dass Mass Personalization für KI-Agenten nicht von Unternehmen ausgeht und auf den Konsumenten ausgerichtet ist! Das hätte eine sehr starke Dynamik von Innovationen zur Folge, die Bottom Up erfolgen und die Bedürfnisse der Menschen stärker berücksichtigen.

Veröffentlicht am

Künstliche Intelligenz: Halluzinationen und der Bullshit-Faktor – eine Art Künstliche Dummheit?

Wenn es um Menschliche Intelligenz geht, sprechen wir auch oft über die scheinbare Menschliche Dummheit. In meinen Blogbeiträgen Reden wir über Dummheit und Steckt hinter der Künstlichen Intelligenz keine echte Intelligenz? Wie ist das zu verstehen? bin ich auf das Thema eingegangen. Weiterhin finden sich in der Rezension Ina Rösing: Intelligenz und Dummheit weitere interessante Anmerkungen.

Im Zusammenhang mit Künstlicher Intelligenz könnte man natürlich auch über eine Art Künstliche Dummheit nachdenken. Wie schon länger bekannt, stellen beispielsweise Halluzinationen und falsche Antworten ein nicht zu vernachlässigendes Phänomen dar. Darüber hinaus gibt es allerdings auch noch eine Art Bullshit-Faktor. Es geht dabei um die Missachtung der Wahrheit in großen Sprachmodellen. Genau diesen Aspekt haben sich verschiedene Forscher der Princeton University einmal genauer angesehen und ein interessantes Paper dazu veröffentlicht:

Liang et al. (2025): Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models | PDF

Es stellt sich hier natürlich die Frage, wie sich Halluzination und der genannte Bullshit-Faktor unterscheiden. Dazu habe ich folgendes gefunden:

„Daher gebe es auch einen entscheidenden Unterschied zwischen Halluzinationen und dem, was er als „Bullshit“ bezeichnet – und der liegt in der internen Überzeugung des Systems. Wenn ein Sprachmodell halluziniert, ist es nicht mehr in der Lage, korrekte Antworten zu erzeugen. „Beim Bullshit hingegen ist das Problem nicht Verwirrung über die Wahrheit, sondern eine fehlende Verpflichtung, die Wahrheit zu berichten“ (t3n vom 21.08.2025).

Interessant finde ich, dass die Forscher wohl auch eine erste Möglichkeit gefunden haben, um diesen Bullshit-Faktor zu überprüfen. Gut wäre es natürlich, wenn die Ergebnisse dann allen zur Verfügung stehen würden. Gespannt bin ich besonders darauf, wie Open Source AI Modelle abschneiden.

Veröffentlicht am

Künstliche Intelligenz: LLM (Large Language Models) und Large Reasoning Models (LRMs) in Bezug auf komplexes Problemlösen

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

KI-Anwendungen basieren oft auf Trainingsdaten, sogenannter Large Language Models (LLM). Um die Leistungsfähigkeit und die Qualität der Antworten von solchen Systemen zu verbessern, wurde inzwischen ein „Denkprozess“ (Reasoning) vor der Ausgabe der Antwort vorgeschaltet. Siehe dazu ausführlicher What are Large Reasoning Models (LRMs)?

Die Frage stellt sich natürlich: Liefern LRMs wirklich bessere Ergebnisse als LLMs?

In einem von Apple-Mitarbeitern veröffentlichten, viel beachteten Paper wurde nun die Leistungsfähigkeit nicht aufgrund logisch-mathematischer Zusammenhänge alleine untersucht, sondern anhand von drei Komplexitätskategorien – mit überraschenden Ergebnissen:

„Recent generations of language models have introduced Large Reasoning Models (LRMs) that generate detailed thinking processes before providing answers.. (…) By comparing LRMs with their standard LLM counterparts under same inference compute, we identify three performance regimes: (1) low-complexity tasks where standard models outperform LRMs, (2) medium-complexity tasks where LRMs demonstrates advantage, and (3) high-complexity tasks where both models face complete collapse“

Source: Shojaee et al. (2025): The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity.

In Zukunft werden immer mehr hoch-komplexe Problemlösungen in den Mittelpunkt von Arbeit rücken. Gerade in diesem Bereich scheinen LLMs und sogar LRMs allerdings ihre Schwierigkeiten zu haben. Ehrlich gesagt, wundert mich das jetzt nicht so sehr. Mich wundert eher, dass das genannte Paper die KI-Welt so aufgewühlt hat 🙂 Siehe dazu auch Was sind eigentlich Multi-Kontext-Probleme?

Sicher werden die Tech-Unternehmen der KI-Branche jetzt argumentieren, dass die nächsten KI-Modelle auch diese Schwierigkeiten meistern werden. Das erinnert mich an unseren Mercedes-Händler, der ähnlich argumentierte, sobald wir ihn auf die Schwachstellen des eingebauten Navigationssystems hingewiesen hatten: Im nächsten Modell ist alles besser.

Technologiegetriebene Unternehmen – insbesondere KI-Unternehmen – müssen wohl so argumentieren, und die Lösungen in die Zukunft projizieren – Storytelling eben, es geht immerhin um sehr viel Geld. Man muss also daran glauben….. oder auch nicht.

Möglicherweise handelt sich es hier um einen Kategorienfehler. Siehe dazu ausführlicher Künstliche Intelligenz – Menschliche Kompetenzen: Anmerkungen zu möglichen Kategorienfehler.

Veröffentlicht am

KI-Modelle: Monitoring einer Entwicklungsumgebung

Using watsonx.governance to build a dashboard and track a multimodel
deployment environment (Thomas et al. 2025)

In verschiedenen Beiträgen hatte ich beschrieben, was eine Organisation machen kann, um KI-Modelle sinnvoll einzusetzen. An dieser Stelle möchte ich nur einige wenige Punkte beispielhaft dazu aufzählen.

Zunächst können LLM (Large Language Models) oder SLM (Small Language Models) eingesetzt werden – Closed Sourced , Open Weighted oder Open Source. Weiterhin können KI-Modelle mit Hilfe eines AI-Routers sinnvoll kombiniert, bzw. mit Hilfe von InstructLab mit eigenen Daten trainiert werden. Hinzu kommen noch die KI-Agenten – aus meiner Sicht natürlich auch Open Source AI.

Das sind nur einige Beispiele dafür, dass eine Organisation aufpassen muss, dass die vielen Aktivitäten sinnvoll und wirtschaftlich bleiben. Doch: Wie können Sie das ganze KI-System verfolgen und verbessern? In der Abbildung sehen Sie ein Dashboard, dass den Stand eines KI-Frameworks abbildet. Die Autoren haben dafür IBM watsonx Governance genutzt.

„Our dashboard gives us a quick view of our environment. There are LLMs from OpenAI, IBM, Meta, and other models that are in a review state. In our example, we have five noncompliant models that need our attention. Other widgets define use cases, risk tiers, hosting locations (on premises or at a hyper scaler), departmental use (great idea for chargebacks), position in the approval lifecycle, and more“ (Thomas et al. 2025).

Die Entwicklungen im Bereich der Künstlichen Intelligenz sind vielversprechend und in ihrer Dynamik teilweise auch etwas unübersichtlich. Das geeignete KI-Framework zu finden, es zu entwickeln, zu tracken und zu verbessern wird in Zukunft eine wichtige Aufgabe sein.