Veröffentlicht am

Künstliche Intelligenz: Open Source Modelle mit der Ollama-App auf dem eigenen Desktop

Eigener Screenshot – (c) Dr. Robert Freund

Ollama ist eine Open Source Software, mit der man kleine und größere Sprachmodelle (Small Language Models und Large Language Models testen kann.

(1) Zunächst natürlich auf Ollama selbst nach einem entsprechenden Login.

(2) Da Ollama Open Source ist, kann es auch auf dem eigenen Server installiert werden. Wie Sie wissen, haben wir das auch schon ausprobiert. Informationen dazu finden Sie in unseren verschiedenen Blogbeiträgen dazu.

(3) Es ist möglich, Ollama auf dem eigenen Desktop zu installieren und geeignete Modelle zu testen. In den Settings ist der Login bei Ollama zu hinterlegen.

Die Abbildung zeigt den Screenshot mit der Startseite auf meinem Desktop. Wie gewohnt kann ein geeigneter Prompt eingegeben werden.

Spannend ist, dass wir bei jedem neuen Chat aus verschiedenen installierten Modellen auswählen können. Bei dem Beispiel haben wir MISTRAL ausgewählt. Über das „+“-Zeichen können sogar Dateien mit hochgeladen werden.

Auch an der Stelle wird wieder deutlich, wie wichtig es ist, Künstliche Intelligenz mit transparenten Open Source Modellen auf der eigenen Infrastruktur zu betreiben. Ganz im Sinne einer Digitalen Souveränität.

Es war anschließend interessant zu sehen, wie schnell die Antwort über Ollama und MISTRAL erstellt wurde. Auch die Qualität der Antwort war gut. Hier der entsprechende Screenshot:

Ergebnis über MISTRAL (c) Dr. Robert reund
Veröffentlicht am

Mistral Vibe: Agentic Coding – Open Source AI

Screenshot: https://mistral.ai/products/vibe

Über die Mistral 3 Modell-Familie, Mistral Le Chat und Mistral Forge habe ich hier schon ausführlich geschrieben. Mistral ist für die Digitale Souveränität in Europa wichtig, da alle KI-Anwendungen europäisch (französisch), DSGVO-konform und Open Source sind. Ganz im Sinne einer Digitalen Souveränität.

Was im Vergleich zu den bekannten proprietären KI-Anwendungen noch fehlte, war das Coding mit Mistral. Dazu wurde nun Mistral Vibe veröffentlicht:

„Agentic coding that meets you where you work. Write, test, and deploy autonomously with full codebase context“ (ebd.).

Da ich kein Experte für das Coding mit Künstlicher Intelligenz bin, habe ich einen Beitrag gesucht, der die Möglichkeiten von Mistral Vibe aus der Coding-Perspektive beschreibt. In dem Artikel Mistral Vibe 2.0: Der terminalbasierte KI-Codierungsagent von Oluseye Jeremiah, veröffentlicht am 02. Februar 2026 auf datacam werden die vielen Vorteile von Mistral Vibe beschrieben.

„Mistral Vibe 2.0 ist ein Terminal-basierter KI-Codierungsagent, der direkt über die Befehlszeile läuft. Anstatt in einem Browser oder als IDE-Plugin zu laufen, arbeitet es direkt im Entwickler-Workflow mit Zugriff auf Dateien und Repositorys.“

Es ist spannend zu sehen, wie sich Mistral, als europäische Alternative zu den bekannten KI-Anwendungen der etablierten amerikanischen Konzerne auf dem Markt behauptet. Erstaunlich ist allerdings auch, dass darüber gar nicht so viel geschrieben wird. Honi soit qui mal y pense.

Veröffentlicht am

Mistral Forge: Eigene Unternehmens-KI entwickeln

Quelle: https://mistral.ai/products/forge

Die Nutzung den bekannten KI-Modelle (GenAI) wie ChatGPT, Gemini, Grok, Anthropic, Claude etc ist weit verbreitet. Es ist auch möglich, diese Modelle mit eigenen Daten zu trainieren, doch ist der Großteil dann immer noch zu wenig unternehmensspezifisch. Siehe dazu auch Digitale Souveränität: Europa, USA und China im Vergleich.

Mistral AI ist hier in den letzten Jahren einen eigenen Weg gegangen, indem es als europäische Modell Familie DSGVO-konform ist, und auch als Open Source AI zur Verfügung steht.

Mit dem nun veröffentlichten Mistral Forge können Unternehmen auf Basis der eigenen Daten und Expertise ihr eigenes KI-Modell entwickeln.

From your data to your model

Vorgehensweise bei Mistral Forge: https://mistral.ai/products/forge

Die einzelnen Schritte werden auf der genannten Webseite ausführlich dargestellt. Es wir spannend zu sehen, welche Organisationen diesen Weg gehen werden. Aktuell sind das immerhin so bekannte Namen wie ASML, Ericsson, ESA und DSO National Laboratories aus Singapur. Siehe dazu auch

Österreichische Verwaltung setzt bei Künstlicher Intelligenz auf Mistral

Mistral Le Chat: Eine europäische Alternative zu ChatGPT

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Veröffentlicht am

Österreichische Verwaltung setzt bei Künstlicher Intelligenz auf Mistral

Image by jorono from Pixabay

Die vielfältigen Abhängigkeiten Europas, u.a. bei Energie und Digitalisierung sind in der Zwischenzeit allen leidvoll bewusst geworden. In den letzten Jahren wird daher immer mehr versucht, auf unabhängige Lösungen zu setzen.

Das bedeutet bei der Energie natürlich, erneuerbare Energie auszubauen. Bei der Digitalisierung geht es um eine weitgehende Digitale Souveränität. In vielen europäischen Verwaltungen werden auch schon erste erfolgreiche Schritte sichtbar.

Vielen Verwaltungen wird langsam aber sicher auch klar, wie viel Geld sie an Rahmenverträgen, Lizenzen und Software an Big-Tech gezahlt zahlen müssen. Es sind in Deutschland 13,6 Milliarden Euro pro Jahr (Quelle: Golem 04.07.2025).

In der Zwischenzeit gibt es viele Open Source Anwendungen die als Alternativen zur Verfügung stehen. Das dänische Digitalministerium ersetzt beispielsweise Microsoft Office durch Libre Office, Schleswig-Holstein setzt in der Verwaltung auf Nextcloud usw. usw.

Einen Schritt weiter geht die Österreichische Verwaltung, die in Zukunft verstärkt Künstliche Intelligenz einsetzen will. Dabei hat man sich im Sinne der genannten Überlegungen für ein europäisches (französisches) KI-Modell entschieden: DSGVO-konform und Open Source.

„Gerade beim Einsatz von KI im Staat ist digitale Souveränität entscheidend. Deshalb arbeiten wir an einer gemeinsamen Infrastruktur, die unsere Daten schützt und gleichzeitig Innovation ermöglicht.“ Deshalb laufen auf den GPUs im Bundesrechenzentrum auch bevorzugt europäische Modelle – also etwa Mistral AI aus Frankreich. Dies soll volle Souveränität über die Daten garantieren“ (Zellinger, P. (2026): Es wird ernst: Künstliche Intelligenz zieht in die österreichische Verwaltung ein, in Der Standard vom 10.03.2026.

In dem Beitrag wird auch erwähnt, dass für nicht so sicherheitsrelevante Bereiche auch andere KI-Modelle genutzt werden können. Doch was ist in Öffentlichen Verwaltungen nicht sicherheitsrelevant?

Siehe dazu auch

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Mistral Le Chat: Eine europäische Alternative zu ChatGPT

Mistral Le Chat: Ersten persönlichen Agenten zu User Innovation angelegt

Veröffentlicht am

Mistral Le Chat: Ersten persönlichen Agenten zu User Innovation angelegt

Eigener Screenshot: Meine Agenten in Le Chat (Angemeldet)

In den Blogbeitrag Mistral Le Chat: Eine europäische Alternative zu ChatGPT hatte ich schon einen ersten Test der Version thematisiert, die man ohne Anmeldung und kostenlos nutzen kann (Europäisch und DSGVO-konform).

Im nächsten Schritt habe ich mich bei Mistral Le Chat angemeldet, wodurch weitere Optionen kostenlos zur Verfügung stehen. Darunter ist auch die Möglichkeit, Agenten zu nutzen. Die obere Abbildung zeigt einen Screenshot, mit einem von mir angelegten Agenten „User Innovation„.

Das Ziel des Agenten ist es, meinen persönlichen Innovationsprozess zu unterstützen. Dabei möchte ich (natürlich) Open Source AI und frei verfügbare Daten nutzen.

Die folgende Grafik zeigt einen Ausschnitt aus den generierten Abfragen. Ich muss zugeben, dass ich durchaus von der Qualität der Antworten überzeugt bin. Mal sehen, wie weit ich mit meinen Überlegungen und Le Chat komme.

Eigener Screenshot – Mistral Le Chat, angemeldet, Agent anlegen
Veröffentlicht am

Mistral Le Chat: Eine europäische Alternative zu ChatGPT

https://chat.mistral.ai/chat

Auf die neue Mistral 3 KI-Modell-Familie hatte ich schon im Dezember 2025 in einem Blogbeitrag hingewiesen. Das französische Start-Up wurde 2023 gegründet: „(…) the company’s mission of democratizing artificial intelligence through open-source, efficient, and innovative AI models, products, and solutions“ (Quelle: Website).

Dieses Demokratisieren von Künstlicher Intelligenz durch Open Source, als europäischer und DSGVO-konformer Ansatz, ist genau der Weg, den ich schon in verschiedenen Beiträgen vertreten habe. Es ist daher interessant, auch den in 2024 veröffentlichten Bot Le Chat im Vergleich beispielsweise zu ChatGPT zu testen.

Die Abbildung weiter oben zeigt die Landingpage für Le Chat mit einem einfachen Feld für die Eingabe eines Prompts. Man kann die Leistungsfähigkeit des Bots testen, ohne sich anmelden zu müssen. Ich habe mich also zunächst nicht angemeldet und einfach einmal eine Frage eingegeben, die mich aktuell beschäftigt: Es geht um die Unterschiede zwischen den Auffassungen von Henry Chesbrough und Eric von Hippel zu Open Innovation.

Ausschnitt aus der Antwort zum eingegebenen Prompt

Die Abbildung zeigt einen Ausschnitt aus der umfangreichen Antwort auf meine Frage, inkl. der generierten Gegenüberstellung der beiden Ansichten auf Open Innovation. Die Antwort kam sehr schnell und war qualitativ gut – auch im Vergleich zu ChatGPT.

Mistral Le Chat ist ein europäisches Produkt, das auch der DSGVO unterliegt und darüber hinaus neben französisch- und englischsprachigen, auch mit deutschsprachigen Daten trainiert wurde. Es ist spannend, sich mit den Mistral-KI-Modellen und mit Le Chat intensiver zu befassen.

Wir haben den kostenpflichtigen ChatGPT-Account in der Zwischenzeit gekündigt, und werden mehr auf Modell-Familien wie Mistral 3 und Mistral Le Chat setzen. Wir sind gespannt, wie sich die Open Source Alternativen in Zukunft weiterentwickeln – ganz im Sinne einer Digitalen Souveränität. Siehe dazu auch

Weitere Open Source AI-Modelle ausprobieren.

Das Kontinuum zwischen Closed Source AI und Open Source AI.

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Digitale Souveränität: Mistral 3 KI-Modell-Familie veröffentlicht

Quelle: https://mistral.ai/news/mistral-3

Digitale Souveränität in Europa lebt auch davon, dass leistungsfähige KI-Modelle verfügbar sind. Es wundert daher nicht, dass die Veröffentlichung von Mistral 3 sehr viel Aufmerksamkeit erhalten hat. Mistral ist die französische Antwort auf die dominierenden KI-Modelle amerikanischer Tech-Konzerne, die nicht offen sind, und enorme Ressourcen benötigen. Wenn es um kleine, offene und ressourcenschonende Modelle geht, so kann die Mistral-Modell-Familie durchaus interessant sein. Alle Modelle sind auf Huggingface verfügbar:

Mistral 3 Large
A state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture.

Mistral 3
A collection of edge models, with Base, Instruct and Reasoning variants, in 3 different sizes: 3B, 8B and 14B.

Mich interessieren gerade die kleinen, leistungsfähigen Modelle, die eine einfachere technische Infrastruktur benötigen und ressourcenschonend sind. Die offenen Modelle können damit in lokale KI-Anwendungen eingebunden werden. Wir werden Mistral 3 in LocalAI, Ollama und Langflow einbinden und zu testen. Dabei bleiben alle generierten Daten auf unseren Servern – ganz im Sinne einer Digitalen Souveränität.

Veröffentlicht am

Künstliche Intelligenz: Was ist unter einer Mixture of Experts (MoE) Architektur zu verstehen?

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodellen geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von „One size fits all“. Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten.

Doch es gibt noch eine andere Möglichkeit, und das ist eine Mixture of Experts (MoE) Architektur.

„In January of 2025, the MoE architecture got broad attention when DeepSeek released its 671 billion MoE model. But DeepSeek wasn’t the first to release an MoE model. The French AI Lab, Mistral AI, made headlines with the release of one of the first high-performing MoE models: Mixtral 8x7B (we think the name is great, Mistral + mixture) all the way back in December of 2023″ (Thomas et al. 2025).

Es geht also im Prinzip darum, für den jeweiligen Input das geeignete Modell auszuwählen, um einen qualitativ hochwertigen Output zu generieren. Das erinnert mich stark an meinen Blogbeitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren.

Doch es gibt einen Unterschied: Bei dem Konzept eines AI-Routers, sind es verschiedene Modelle (LLM, SLM), die für den jeweiligen Input ausgewählt werden. Bei einer Mixture of Experts (MoE) Architektur ist das prinzipielle Vorgehen zwar ähnlich, doch es sind hier speziell trainierte Modelle mit Expertenstatus, die dann zur Auswahl stehen.

Es zeigt sich in solchen Beiträgen immer mehr, dass ein Unternehmen ein dynamisches, eigenes KI-System konfigurieren sollte, damit die Möglichkeiten der Künstlichen Intelligenz genau zu den Anforderungen und dem Kontext passt.

Aus meiner Sicht, sollten die Modelle alle der Definition einer Open Source AI entsprechen – das ist aktuell noch nicht überall gegeben. Siehe dazu auch Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Veröffentlicht am

Digitale Souveränität: Die Initiative AI for Citizens

Website: https://mistral.ai/news/ai-for-citizens

Immer mehr Privatpersonen, Organisationen, Verwaltungen usw. überlegen, wie sie die Möglichkeiten der Künstlichen Intelligenz nutzen können. Dabei gibt es weltweit drei grundsätzlich unterschiedliche Richtungen: Der US-amerikanische Ansatz (Profit für wenige Unternehmen), der chinesische Ansatz (KI für die politische Partei) und den europäischen Ansatz, der auf etwas Regulierung setzt, ohne Innovationen zu verhindern. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Es freut mich daher sehr, dass es in Europa immer mehr Initiativen gibt, die Künstliche Intelligenz zum Wohle von Bürgern und der gesamte Gesellschaft anbieten möchten – alles Open Source. Das in 2023 gegründete Unternehmen Mistral AI hat so einen Ansatz, der jetzt in der Initiative AI for Citizens eine weitere Dynamik bekommt, und einen Gegenentwurf zu den Angeboten der bekannten Tech-Giganten darstellt:

„Empowering countries to use AI to transform public action and catalyze innovation for the benefit of their citizens“ (Quelle).

Dabei listet die Website noch einmal ausführlich die Nachteile der „One size fits all AI“ auf, die vielen immer noch nicht bewusst sind.

Informieren Sie sich über die vielen Chancen, Künstliche Intelligenz offen und transparent zu nutzen und minimieren Sie die Risiken von KI-Anwendungen, indem Sie offene und transparente Trainingsmodelle (Large Language Models; Small Language Models) und KI-Agenten nutzen. Siehe dazu auch

Das Kontinuum zwischen Closed Source AI und Open Source AI

Open Source AI: Warum sollte Künstliche Intelligenz demokratisiert werden?

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Veröffentlicht am

AI: Was ist der Unterschied zwischen Open Source und Open Weights Models?

In verschiedenen Beiträgen habe ich schon erläutert, dass sich Open Source AI und Closed Source AI unterscheiden. Die bekannten Closed Source AI Modelle wie z.B. ChatGPT von (OpenAI) sind beispielsweise nicht wirklich Open Source sind, da dsolche Modelle intransparent sind und den eigentlichen Zweck haben, wirtschaftliche Gewinne zu generieren – koste es was es wolle. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Zwischen diesen beiden Polen Open Source AI und Closed Source AI gibt es allerdings – wie immer – ein Kontinuum von weiteren Möglichkeiten. Beispielsweise sind LLama, Mistral und Gemma nicht so ohne weiteres den beiden Extremen zuzuordnen, da diese Modelle teilweise offen sind. Solche Modelle werden Open Weights Models genannt:

„As a result, the term “Open Source” has been used to describe models with various levels of openness, many of which should more precisely be described as “open weight” models. Among the Big AI companies, attitudes towards openness vary. Some, like OpenAI or Anthropic, do not release any of their models openly. Others, like Meta, Mistral or Google, release some of their models. These models — for example, Llama, Mistral or Gemma — are typically shared as open weights models“ (Tarkowski, A. (2025): Data Governance in Open Source AI. Enabling Responsible and Systemic Access. In Partnership with the Open Source Initiative).

Warum nur werden solche Modelle angeboten? Der Grund kann sein, dass man mit dieser Strategie versucht, dem Regulierungsbestreben z.B. der Europäischen Union entgegenzuwirken. Ich hoffe, dass das nicht funktioniert und Big Tech gezwungen wird, sich an die Spielregeln in der Europäischen Union zu halten. Aktuell sieht es so aus, dass die neue Regierung der USA die Europäische Union auch bei diesem Thema vor sich hertreiben möchte.