Veröffentlicht am

Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen

Screenshot von meiner Ollama App, die auf Ministral 3B als Open Source Ki-Modell zugreift

In verschiedenen Blogbeiträgen hatten wir aufgezeigt, wie in der Nextcloud mit Hilfe von Local AI Open Source KI-Modelle von Mistral AI genutzt werden können. Siehe dazu beispielhaft Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Dazu ist es allerdings empfehlenswert, für Local AI nicht den Server zu nutzen, auf dem Nextcloud läuft. Ein weiterer Server ist allerdings gerade für Kleine und Mittlerer Unternehmen (KMU) ein Aufwand, den viele scheuen. Wie kann es also kostengünstiger gehen?

In der Zwischenzeit gibt es von Mistral AI in der Model-Familie Mistral 3 auch das Modell Ministral 3B (inkl. Vergleichstabellen), das mit seiner Leistungsfähigkeit sogar das Modell Mistral 7B übertrifft, weil Ministral 3B sehr kompakt ist und gerade für die Nutzung auf normalen Laptops entwickelt wurde (Edge Computing).

Wie kann man Ministral 3B auf seinem eigenen Laptop nutzen?

(1) Um das Modell bequem zu nutzen, bietet sich die App Ollama an, die Sie zunächst auf Ihrem Laptop installieren.

(2) Nun laden Sie Ministral 3B auf Ihren Laptop herunter. Wenn Sie Windows 11 installiert haben geht das wie folgt: Tastenkombination Windows-Taste + R drücken, cmd in das Textfeld eingeben und mit Enter bestätigen. Mit dem Befehl ollama run ministral-3:3b wird das Modell (3GB) heruntergeladen.

(3) Das KI-Modell können Sie anschließend direkt in der Ollama-Oberfläche in einem Rollfeld auswählen. In der Abbildung sehen das rechts unten mit einem roten Rechteck hervorgehoben.

(4) In meinem Fall habe ich Ministral 3B eine komplexe Frage zu Open User Innovation aus der Perspektive von Eric von Hippel gestellt, die zügig und gut beantwortet wurde.

Die Nutzung eines Open Source KI-Modells (Open Weight Models) auf dem eigenen Laptop bietet für Freelancer oder Kleinen Unternehmen die Möglichkeit, leistungsfähige KI-Modelle auf Ihrer eigenen Infrastruktur ohne zusätzliche Kosten zu nutzen.

Gleichzeitig ist Ministral 3B ein Modell, dass auf dem Open Source Gedanken beruht, europäische KI- und Datenschutz- Standards beachtet und somit einen wichtigen Schritt in Richtung der eigenen Digitalen Souveränität aufzeigt.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Open Source AI: Mistral AI – eine Erfolgsgeschichte muss skalieren

In den letzten Jahren wurden Open Source AI Modelle noch etwas belächelt, da sie zugegebenermaßen nicht an die Leistungsfähigkeit der proprietären AI-Modelle heranreichten. Wie die Beispiele DeepSeek R1, KIMI K3 oder auch Mistral AI zeigen, hat sich das geändert.

Hinzu kommt noch, dass neben der Leistungsfähigkeit noch andere Aspekte wichtig geworden sind: Digitale Souveränität und Resilienz. Betrachtet man alle Dimensionen, so wird klar, dass Open Source AI eine wichtige Rolle bei der modernen Transformation von Unternehmen und Gesellschaften spielen kann – besonders in Europa.

Am Beispiel Mistral AI, einem französischen Start-Up (2023 gegründet) wird deutlich, in welchem Spannungsfeld sich Open Source AI befindet. Mistral AI ist sehr erfolgreich und wird in Europa von immer mehr Privatpersonen, Unternehmen und Öffentlichen Verwaltungen genutzt. Das führt unweigerlich zu der Frage, wie Mistral AI die große Nachfrage bedienen kann. Das geht nur mit einer Skalierung, die Zeit und Geld kostet.

Um also den Markt schnell bedienen zu können braucht es Kapital und technologische Infrastruktur. Es wundert daher nicht, dass sich wohl Samsung an Mistral AI beteiligen möchte, und auch Microsoft KI-Infrastruktur bereitstellen will. Beides ist erst einmal positiv, doch hat das Beispiel OpenAI gezeigt, dass Microsoft Unternehmen, die zunächst Open Source AI angeboten haben, zu kommerziellen Unternehmen umwandeln kann. OpenAI entspricht nicht den Anforderungen, die in der Open Source AI Definition formuliert wurden.

Wir arbeiten schon länger mit Mistral AI Modellen und setzen darauf, dass das Unternehmen trotz der notwendigen Schritte zur Skalierung seine Unabhängigkeit und europäischen Ansatz beibehält. Wir werden den Weg von Mistral AI weiter beobachten.