Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen

Screenshot von meiner Ollama App, die auf Ministral 3B als Open Source Ki-Modell zugreift

In verschiedenen Blogbeiträgen hatten wir aufgezeigt, wie in der Nextcloud mit Hilfe von Local AI Open Source KI-Modelle von Mistral AI genutzt werden können. Siehe dazu beispielhaft Digitale Souveränität: Wie kann ein KI-Modell aus LocalAI in den Nextcloud Assistenten eingebunden werden?

Dazu ist es allerdings empfehlenswert, für Local AI nicht den Server zu nutzen, auf dem Nextcloud läuft. Ein weiterer Server ist allerdings gerade für Kleine und Mittlerer Unternehmen (KMU) ein Aufwand, den viele scheuen. Wie kann es also kostengünstiger gehen?

In der Zwischenzeit gibt es von Mistral AI in der Model-Familie Mistral 3 auch das Modell Ministral 3B (inkl. Vergleichstabellen), das mit seiner Leistungsfähigkeit sogar das Modell Mistral 7B übertrifft, weil Ministral 3B sehr kompakt ist und gerade für die Nutzung auf normalen Laptops entwickelt wurde (Edge Computing).

Wie kann man Ministral 3B auf seinem eigenen Laptop nutzen?

(1) Um das Modell bequem zu nutzen, bietet sich die App Ollama an, die Sie zunächst auf Ihrem Laptop installieren.

(2) Nun laden Sie Ministral 3B auf Ihren Laptop herunter. Wenn Sie Windows 11 installiert haben geht das wie folgt: Tastenkombination Windows-Taste + R drücken, cmd in das Textfeld eingeben und mit Enter bestätigen. Mit dem Befehl ollama run ministral-3:3b wird das Modell (3GB) heruntergeladen.

(3) Das KI-Modell können Sie anschließend direkt in der Ollama-Oberfläche in einem Rollfeld auswählen. In der Abbildung sehen das rechts unten mit einem roten Rechteck hervorgehoben.

(4) In meinem Fall habe ich Ministral 3B eine komplexe Frage zu Open User Innovation aus der Perspektive von Eric von Hippel gestellt, die zügig und gut beantwortet wurde.

Die Nutzung eines Open Source KI-Modells (Open Weight Models) auf dem eigenen Laptop bietet für Freelancer oder Kleinen Unternehmen die Möglichkeit, leistungsfähige KI-Modelle auf Ihrer eigenen Infrastruktur ohne zusätzliche Kosten zu nutzen.

Gleichzeitig ist Ministral 3B ein Modell, dass auf dem Open Source Gedanken beruht, europäische KI- und Datenschutz- Standards beachtet und somit einen wichtigen Schritt in Richtung der eigenen Digitalen Souveränität aufzeigt.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

KI-Modelle sind selten das Rendite-Problem

Image by un-perfekt from Pixabay

In der aktuellen Situation um KI-Modelle und KI-Agenten wird häufig argumentiert, dass die Abrechnung in Token ein großes Problem darstellt. Dabei ist es am Anfang oft unklar, welche Kosten bei der Nutzung von KI-Systemen wirklich entstehen. Siehe dazu auch Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?

Solche technologischen Aspekte überlagern dabei die Kosten, die in der Organisation und bei den Mitarbeitern entstehen. In einem Gesamtsystem Mensch, Organisation und Technologie (MOT-Modell) ist es wichtig, einzelne Elemente sinnvoll auf das eigene Geschäftsmodell und die dazu erforderlichen Geschäftsprozesse abzustimmen.

Gerade Kleine und Mittelständische Unternehmen (KMU) mit ihren begrenzten Ressourcen sollten darauf achten, das gesamte KI-System auf ihre Organisation abzustimmen und nicht immer nur dem nächsten technologischen Hype hinterherzujagen. In einem lesenswerten Artikel stellt M. Kramer ausführlich dar, dass dieser rein Tech-getriebene Ansatz nicht wirtschaftlich ist.

„None of this lessens the technology. Models will keep improving, and that progress matters. But the next wave of AI value will come less from models becoming more capable and more from organisations becoming more capable of using them. Capability sets what is possible. The operating model decides how much of that possibility the business ever sees“ Kramer, M. (2026) Analyst Insights: The AI ROI Problem Is Rarely the Model.

Wie man in einem mittelständischen Unternehmen vorgehen kann, habe ich in dem Blogbeitrag KI-System im Mittelstand: Von der Wissensbilanz lernen grob dargestellt.

Kleidung pro EU-Bürger: 19 Kilo kaufen, 16 Kilo entsorgen – pro Jahr

Image by Andreas Lischka from Pixabay

Seit mehr als 35 Jahren höre ich auf Konferenzen immer wieder von Studien die zeigen, wie verschwenderisch wir mit Kleidung umgehen. Das erste Mal ist mir das auf der Weltkonferenz MCPC 2001 an der HKUST (Hong Kong University of Science and Technology) bewusst geworden. Das gleiche Schema „Studien zeigen die Verwendung auf – es passiert allerdings nichts“ habe ich dann auf vielen weiteren Konferenzen in Asien, Europa und USA miterlebt.

Es ist bis heute für die Unternehmen immer noch günstiger, nicht verkaufte Ware wegzuschmeißen, als Ressourcen zu schonen. Verbrauchern ist nicht bewusst, dass sie mit dem Preis des Kleidungsstücks auch die Überproduktion und deren Entsorgung mitbezahlen. Siehe dazu auch Bekleidung: Produkte genügen immer noch nicht den Anforderungen der Kunden. Folgende Daten zeigen die aktuelle Situation noch einmal beispielhaft auf:

„Jeder EU-Bürger kauft pro Jahr im Schnitt einen großen Koffer voll neuer Kleidung, 19 kg – und wirft Jahr für Jahr 16 Kilo wieder weg, so Zahlen des Europäischen Parlaments“ (BR vom 19.07.2026).

Neue Technologien ermöglichen es der Modebranche immer schneller Designs zu entwickeln und Produkte herzustellen. Von Fashion haben wir uns zu Fast Fashion und sogar zu Super Fast Fashion entwickelt. Dabei muss man natürlich die Frage stellen, ob diese Entwicklung mit Blick auf die verschwendeten Ressourcen positiv ist.

„Von Fast Fashion zu Super-Fast-Fashion: Bis zu 9000 neue Designs pro Tag“ (Deutschlandfunk vom 25.05.2026).

Möglicherweise kommt jetzt etwas mehr Bewegung in das Thema, denn die Europäische Union will gegen diese Art der Verschwendung vorgehen. Da sich die Modeunternehmen und die Verbraucher weiter uneinsichtig zeigen, hat die Europäische Union mit der EU-Ökodesign-Verordnung einen ersten Schritt zur Eindämmung der Verschwendung unternommen; Große Modeunternehmen dürfen ab Juli 2026 unverkaufte Mode nicht mehr so einfach wegwerfen. Diese Regelung kritisieren (natürlich) die Unternehmen, doch kann es wie bisher nicht weitergehen – und das nicht nur bei Bekleidung.

Auch bei Lebensmittel, ja sogar bei der Autoproduktion wird nicht nach Bedarf hergestellt, sondern viel zu viel, was dann wiederum „in den Markt gedrückt“ (50% Sale usw.) oder entsorgt werden muss. Würden wir die Herstellung von Produkten und Dienstleistungen wirklich an den Bedürfnissen der Menschen und nicht an den Marketingkonzepten der Unternehmen orientieren, so wäre die Verschwendung von Ressourcen in vielen Branchen geringer. Siehe dazu auch Produkte und Dienstleistungen als Mehrwert für Kunden: Warum funktioniert das einfach nicht?

Wie wäre es, wenn man die Kosten für die Vernichtung der Überproduktion in einen Wert für den Kunden umwandeln würde?

Mit Hilfe neuer Produktionsansätze wie Mass Customization and Personalization können schon seit mehr als 30 Jahren Produkte für jeden einzelnen Nutzer massenhaft zu erschwinglichen Preisen hergestellt werden. Durchgesetzt hat sich dieser Ansatz allerdings immer noch nicht, da Kunden gerade in der Bekleidungsindustrie mehr nach Marken kaufen. Daher stecken die Modeunternehmen viel Geld in Marketing mit sogenannten Stars oder Influencern, das hält die Preise hoch, den Kunden ist die Qualität bei den Produkten nicht mehr so wichtig, was letztendlich die Gewinnmarge erhöht.

Mass Customization and Personalization ist der Schwerpunkt der Konferenz MCP 2026, die in die vom 16.-19.09.2026 in Balatonfüred, Ungarn stattfinden wird. Siehe dazu auch Freund, R. (2009): Kundenindividuelle Massenproduktion (Mass Customization). RKW Kompetenzzentrum, Faktenblatt 5/2009.

Künstliche Intelligenz: Von Output über Outcome zu Impact

Wirkungstreppe bei Not-for-Profit-Projekten (PHINEO 2021)

Die Abbildung zeigt zwar die Wirkungstreppe bei Not-for-Profit-Projekten, doch möchte ich daran verschiedene Aspekte der heutigen KI-Diskussion aufzeigen. Wie zu erkennen ist, geht es bei der Entwicklung und Anwendung der verschiedenen KI-Modelle meistens darum, dass sich Künstliche Intelligenz rechnet – die Kosten also niedriger sind als der Nutzen. In den Anfängen der KI-Nutzung sind dazu sehr viele Beispiel veröffentlicht worden die zeigen, wie wirtschaftliche der KI-Einsatz sein kann. In der Zwischenzeit wird allerdings immer öfter auch darüber diskutiert, welche immensen Kosten entstehen können. Siehe dazu auch Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks? Diese Zusammenhänge gehören in die Kategorie Output oder Outcome.

Entscheidender für mich ist allerdings die Frage: Welchen Impact generiert Künstliche Intelligenz? Die großen US amerikanischen Tech-Konzerne wollen die Gesellschaft nach ihren wirtschaftlichen Vorstellungen ändern. Chinesische Modelle wollen das auch, doch haben diese einen anderen, eher politischen Ansatz. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Wenn es um Künstliche Intelligenz geht, sollten wir uns zunächst die Frage nach dem Impact stellen, da die KI-Modelle gravierende Auswirkungen auf unsere Gesellschaft haben. Es sollte nicht so sein, dass KI-Unternehmen unsere Daten für ihre Geschäfte nutzen und auch noch bestimmen, welche Werte in der Gesellschaft vertreten werden sollen.

In Europa wird nach und nach erkannt, dass es Zeit ist, europäische Werte als Rahmen für die Nutzung von Künstlicher Intelligenz zu setzen. Solche Grenzen werden die Tech-Konzerne nicht akzeptieren. Sie werden politischen Druck und ihre Lobbyarbeit nutzen, diesen europäischen Ansatz zu verwässern. Ich hoffe, dass die Europäische Union den eingeschlagenen Weg der sinnvollen Regulierung von Künstlicher Intelligenz weitergeht – zum Wohle der Menschen. Siehe dazu auch SuperEurope: The Unexpected Hero of the 21st Century.

Der Nutzen von Open Source Software übersteigt die Kosten deutlich

Image by Gerd Altmann from Pixabay

Wenn es um Open Source Software geht (OSS) geht, muss natürlich auch über die anfallenden Kosten gesprochen werden. Dazu zählen beispielsweise Installations- und Supportkosten, Anforderungen an die Lizenzkonformität und um potenzielle Sicherheitslücken. Neben den anfallenden Kosten stellt sich natürlich auch die Frage, wie es mit dem Nutzen von Open Source Software aussieht. In einer Studie von Henry Chesbrough aus dem Jahr 2023 konnte nachgewiesen werden, dass der Nutzen diese Kosten deutlich übersteigt.

„However, the results of this survey are quite consistent with earlier survey research (Nagle, 2019; European Commission, 2021), which shows that the perceived benefits of utilizing OSS significantly exceed these costs for the large majority of organizations that use OSS“ (Chesbrough, H. (2023), Measuring the Economic Value of Open Source: A Survey and a Preliminary Analysi, The Linux Foundation | PDF).

Die wirtschaftlichen Vorteile gehen einher mit einer stärkeren Unabhängigkeit (Digitale Souveränität) und damit verbunden mit einer besseren Widerstandsfähigkeit (Resilienz) der Organisation.

Die in der Zwischenzeit eingetretene Unmündigkeit (Digitale Abhängigkeit) von US amerikanischen digitalen Angeboten, hat einzelne Personen, Organisationen und ganze Öffentliche Verwaltungen in eine Pfadabhängigkeit geführt, aus der viele einfach nicht mehr herauskommen. Denn es ist ja so bequem, unmündig zu sein.

Immanuel Kant schrieb schon 1784 in seiner Streitschrift: „Beantwortung der Frage: Was ist Aufklärung?“: „Unmündigkeit ist das Unvermögen, sich seines Verstandes ohne Leitung eines anderen zu bedienen. Faulheit und Feigheit sind die Ursachen, warum ein so großer Teil erwachsener Menschen, nachdem sie die Natur längst von fremder Leitung freigesprochen hat, dennoch gerne zeitlebens unmündig bleiben, und warum es anderen so leicht wird, sich zu deren Vormündern aufzuwerfen. Es ist so bequem, unmündig zu sein!“ (Fuchs, J.; Stolorz, C. (2001): Produktionsfaktor Intelligenz. Wiesbaden).

Die Zeit ist reif, sich auf seinen eigenen Verstand zu besinnen, und sich von den aufgebauten digitalen Abhängigkeiten zu lösen. Ganz im Sinne des Wahlspruchs der Aufklärung: „Habe Mut, Dich Deines eigenen Verstandes zu bedienen!

Siehe dazu auch Die erfolgreiche Geschichte von Open Source KI zeigt, wie dieser Weg aussehen kann. Digitale Souveränität: Europa, USA und China im Vergleich.

Kosten der Künstlichen Intelligenz: Anteil US amerikanischer KI-Modelle geht weltweit zugunsten von Open Source AI zurück

Image by chris s from Pixabay

Wir haben uns daran gewöhnt, dass die amerikanischen Tech-Konzerne mit ihren KI-Modellen den Ton angeben, doch in den letzten 12 Monaten hat sich weltweit erstaunliches getan. Nach Howard Yu (auf LinkedIn) ist der Anteil amerikanischer KI-Modelle in diesem Zeitraum von 70% auf 30% gefallen (routed traffic).

Der Grund ist, dass immer mehr Nutzer – auch aus Kostengründen – Open Source AI nutzen. Dazu haben beispielsweise chinesische Anbieter neben DeepSeek auch Qwen als erfolgreichstes Open Source AI Modell weltweit etabliert.

„The cause is, of course, price. Anthropic’s Claude costs $4,811 for a standard evaluation suite. OpenAI costs $3,357. DeepSeek costs $1,071. Zhipu’s GLM costs $544. The premium American model runs nearly 9 times the cheapest Chinese one for equivalent work. When AI shifted from chat to agents, that gap became impossible to ignore. An overnight coding run calls a model thousands of times“ (Yu, W. via LinkedIn, 08.07.2026).

Natürlich kommen zu so einer Meldung gleich (mindestens) zwei Einwände:

(1) Open Source AI Modelle sind nicht so Leistungsstark wie die proprietären, kommerziellen AI Modelle der amerikanischen Tech-Konzerne.
Das stimmt in der Zwischenzeit nicht mehr. Ausführlich hat das der AI Report 2026 von der Stanford University analysiert und dargestellt. Siehe dazu Die erfolgreiche Open Source KI Geschichte.

(2) Chinesische Modelle sind mit Vorsicht zu genießen, da sie auch den Vorgaben der chinesischen Regierung entsprechen müssen.
Ja, das ist der Fall. Ähnlich sieht es allerdings auch mit den amerikanischen Modellen aus, die den Mindsets der Tech-Konzerne entsprechen. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Was also tun? Es bietet sich an, Open Source AI aus und für Europa zu nutzen. In der Zwischenzeit gibt es neben Mistral AI noch viele weitere Modelle, die schon genutzt werden können. Open Source AI mit europäischen Werten zu nutzen ist ein Weg zu mehr Digitaler Souveränität und sogar zur Kostenreduzierung.

Siehe dazu auch Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?

Wie hängen Innovationen, Fehlerkosten und Restrukturierungskosten zusammen?

In Zeiten von disruptiven Innovationen – also Innovationen, die die Spielregeln ganzer Branchen verändern – kommt es darauf an, diese Innovationen schnell zu entwickeln und anzuwenden. Dafür wird Geld benötigt, das auf dem Markt aufgenommen, oder auch von Nationen zur Verfügung gestellt wird.

Der größte Teil des Geldes kommt allerdings vom Finanzmarkt, der natürlich daran interessiert ist, Rendite zu erzielen. Investoren schauen dabei auch darauf, wie mit Fehlentwicklungen umgegangen werden kann, wenn ca. 80% der Projekte nicht erfolgreich, und nur 20% rentabel sein sollten. Bei so einem Verhältnis kommt es auch darauf an, wie man mit den Unternehmen umgeht, die wenig erfolgreiche Projekte umgesetzt haben und daher Kosten für diese Fehler entstehen. Es muss in diesen Unternehmen restrukturiert werden, und das kostet. Wie die folgende Tabelle zeigt, sind die Restrukturierungskosten pro Mitarbeiter in den jeweiligen Ländern extrem unterschiedlich.

LandRestructuring costs
per employee
(months of salary)
Frankreich38
Italien49
Spanien63
Niederlande31
United Kondom18
Schweden10
USA7
Dänemark3,3
Schweiz2.5
Deutschland31
Coste, O. (2026) The Cost of Failure and Europe’s Innovation Gap. Evidence and Policy Options (Workshop)

Wenn jemand die Zahlen von Deutschland und den USA vergleicht kommt oft der Einwand, dass wir in Deutschland ja keine Hire and Fire – Mentalität haben wollen – immerhin sind wir ja auf die soziale Absicherung von Arbeitsplätzen stolz.

Der Vergleich zu Dänemark oder Schweden zeigt allerdings, dass es durchaus möglich ist, zwischen den beiden Extremen (Soziale Absicherung – Hire and Fire) eine Lösung zu etablieren, die innovativ erscheint und auch wirkungsvoll ist, denn Dänemark und Schweden sind auch im Innovationsranking „weit vorne“. Dänemark nutzt Flexicurity dafür. Man sieht leicht, dass dieses Wort eine Kombination von Flexibility und Security ist. Siehe dazu Flexicurity: Flexibel und sicher – geht das?

Es scheint also einen Zusammenhang zwischen der mangelnden Innovationsbereitschaft, den Kosten für Fehler und den dazu erforderlichen Restrukturierungskosten zu geben. Wenn wir also in Europa mehr Innovationen, und nicht nur Inventionen, haben wollen, sollten wir den Umgang mit den Kosten für Fehler erheblich reduzieren. Europäische Länder wie Dänemark und Schweden – oder auch die Schweiz – zeigen auf, wie das machbar ist.

„Es ist nicht genug zu wissenman muss es auch anwenden. Es ist nicht genug zu wollenman muss es auch tun“ Johann Wolfgang von Goethe.

Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?

Bei der Nutzung von Künstlicher Intelligenz kommt es immer stärker darauf an, KI-Agenten sinnvoll und effizient einzusetzen. Dabei geht es oft auch darum zu wissen, welche Token-Kosten bei der Nutzung von KI-Agenten anfallen.

Bei der Abrechnung auf Basis von Tokens geht es um die Menge verarbeiteter Textbausteine (Tokens), die sich Modelle wie GPT-4 oder Gemini gut bezahlen lassen. Dabei kommt es allerdings oftmals zu starken Schwankungen, und zu regelrechten Abrechnungsschocks.

In einer Studie haben Forscher nun untersucht, inwiefern KI-Agenten bei Codierungs-Aufgaben (coding tasks) in der Lage sind, vor Start des Tasks die Kosten für die benötigten Tokens vorherzusagen. Immerhin wäre eine gut abschätzbare, und somit im voraus gut planbare, Anzahl von Tokens für die wirtschaftliche Bewertung von coding tasks von großer Bedeutung. Eine aktuelle Studie belegt allerdings sehr ausführlich, dass KI-Agenten dazu nicht in der Lage sind:

Agents are not capable of predicting their own token costs. This is the fundamental bottleneck for result-based pricing for agents.  You can’t really price the agent well unless you can figure out the cost, but now you only see the token costs after everything is done” (Bai, L. et al. (2026) https://arxiv.org/abs/2604.22750).

Man wird also erst nachdem alles erledigt ist wissen, was alles gekostet hat (in Token-Kosten). In dem genannten Paper sind noch viele weitere Detail zu finden.

Gerade Kleine und Mittlere Unternehmen (KMU), die stark auf ihre Kosten achten müssen, können die Ergebnisse der Studie eine gute Basis für die wirtschaftliche Nutzung von KI-Agenten sein.

KI-Implementation: 77% unsichtbare Kosten

Hardest challenges in AI implementation (Pereira et al. 2026)

Wenn es um Implementation von Künstlicher Intelligenz im Unternehmen geht, werden oft nicht alle Kosten beachtet. In einer Analyse von 51 erfolgreichen Implementationen aus verschiedenen Branchen, haben Pereira, Graylin und Brynjolfsson im April 2026 herausgefunden, das 77% der Kosten, unsichtbar sind (Abbildung).

„77% of the hardest challenges practitioners faced were invisible costs: change management, data quality, and process redesign, not technical issues. Technology was consistently described as the easiest part. The true cost of a successful deployment usually includes at least one failed attempt, and the bulk of investment goes to everything except the model“ (Pereira et al. 2026).

Es zeigt sich auch hier wieder, dass der Einsatz von Künstlicher Intelligenz über den Hype hinaus auch wirtschaftlich genauer betrachtet werden muss. Das ist bei Kleinen und Mittleren Unternehmen (KMU) besonders wichtig, da KMU oft nur stark begrenzte Ressourcen zur Verfügung stehen.

Drei Ebenen des Projektcontrollings

Ebenen des Controllings (Lappa et al. 2009)

Das Controlling im Projektmanagement sollte auf drei Ebenen (Abbildung) durchgeführt werden (Lappa et al. 2009):

Multiprojektmanagement – Strategische oder Portfolio-Ebene
Der Fokus liegt hier zunächst auf dem Strategieentfaltungsprozess, d. h. der Ableitung von Projekten aus der Unternehmensstrategie. Die mittel- bis langfristige Unternehmensstrategie wird dazu in kurzfristige Unternehmensziele übersetzt.

Multiprojektmanagement – Operative oder Programm-Ebene
Der Fokus liegt hier auf der Betrachtung von Terminen und Fortschritten einzelner Projekte in ihrer Verbundwirkung auf das Projektportfolio.

Einzelprojektmanagement-Ebene
Der Fokus liegt auf der Durchführung und Überwachung einzelner Projekte, überwiegend hinsichtlich Terminen und Fortschritt sowie Personalkapazitätsausschöpfung und Budgetausschöpfung.