Veröffentlicht am

Lokale Nutzung von KI-Modellen mit der LLama.cpp – App

https://llama-cpp.com/

Immer mehr Prívatpersonen, Kleinstunternehmen, Kleine und Mittlere Unternehmen (KMU), Non-Profit Organisationen etc. erkennen die Möglichkeiten, KI-Modelle lokal auf ihrer Hardware zu nutzen. Dazu gibt es verschiedene Open Source Software.

Wie Sie in vielen unserer Beiträge lesen konnten, haben wir uns Ollama App entschiedenen, da wir eine einfache Integration der in Ollama installierten KI-Modelle in Langflow sehen. Langflow wiederum bietet die Möglichkeit, Workflows, oder KI-Agenten mit Drag & Drop zu erstellen.

Eine Alternative zu Ollama ist u.a. LLama.cpp (Abbildung) – beides natürlich Open Source Software und als App auf der lokalen Hardware installierbar.

„You do not need to pay to use Llama.cpp or buy a subscription. It is completely free, open-source, constantly updated and available under the “MIT” license“ (LLama.cpp-Website)

Wie bei allen Vergleichen haben beide Vorteile und Nachteile. Es kommt darauf an, welche Schwerpunkte Sie bei der Nutzung von lokalen KI-Modellen haben. Bei den vielen im Netz zu findenden Vergleichen habe ich manchmal den Eindruck, dass Äpfel mit Birnen verglichen werden, da Ollama und LLama.ccp unterschiedlichen Kategorien angehören.

Testen Sie die Apps einfach einmal aus und schauen Sie, welche besser zu Ihren Anforderungen passt.

Veröffentlicht am

Digitale Souveränität – auch mit Open Source Hardware

https://oshwa.org/

Wenn es um Open Source geht, denken wir meistens an Open Source Software (OSS), die in vielen Anwendungen zu finden sind – auch in der Robotik. Es leuchtet ein, dass gerade Open Source AI (Open Source Künstliche Intelligenz) auch für die komplexen Steuerungen von kleinen und größeren Robotern verwendet wird.

Parallel dazu gibt es eine Entwicklung, die gar nicht so im Fokus zu stehen scheint. Es ist der weltweite Trend, auch Open Source Hardware zu entwickeln. Die Open Source Hardware Association (OSHWA) hat dazu aktuell 3.369 Projekte zertifiziert (Abbildung). Was versteht die Non-Profit Organisation unter Open Source Hardware?

„Open source hardware is hardware whose design is made publicly available so that anyone can study, modify, distribute, make, and sell the design or hardware based on that design. The hardware’s source, the design from which it is made, is available in the preferred format for making modifications to it“ (OSHWA).

Dieses Verfügbarmachen von Hardware für alle ist eine Grundidee von offenen Systemen, in denen man sich einbringen kann, deren Ergebnisse man auch einfach nur nutzen kann. Es ist erstaunlich wie viele Menschen sich dafür engagieren, und in diesem Sinne auch sozial handeln.

Natürlich gibt es nicht nur die OSHWA, sondern noch weitere Organisationen, die Open Source Hardware fördern.

„However, with the rise of open source chip design initiatives such as the OpenHW Foundation, the FOSSi Foundation lowRISC, the Chips Alliance, the Beijing Institute of Open Source Chip, or the PULP Platform, new opportunities have emerged to make hardware development more accessible and competitive“ (Wallentowitz and Wohlrab (2026): Open Source and the New Regulations on Hardware, in Eclipse Foundation, 2026).

Zusammen mit den Entwicklungen bei Open Source Software stellen die Aktivitäten bei Open Source Hardware dazu bei, Digitale Souveränität auf mehreren Ebenen zu erreichen. Ich bin gespannt, was die jeweiligen Communities in den kommenden Jahren noch entwickeln werden.

Veröffentlicht am

Open Source AI: Wie kann ich einen einfachen Workflow in der Langflow App anlegen?

In der eigenen Langflow App angelgter einfacher Workflow

In dem Blogbeitrag Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen hatte ich gezeigt, wie man mit Hilfe der Ollama App, Open Source KI-Modelle (oder Open Weight KI-Modelle) auf dem eigenen Laptop installieren und nutzen kann. Da es in der Zwischenzeit viele kleine und leistungsstarke KI-Modelle (SLM: Small Language Models gibt), ist dieser Ansatz gerade für Kleinstunternehmen wirtschaftlich interessant.

Wenn es im nächsten Schritt darum geht, solche Modelle in eigene KI-Agenten einzubinden, bietet sich die auf dem eigenen Laptop installierte Langflow App an – eine Alternative ist LM Studio. Die Ollama App und die Langflow App sind natürlich Open Source.

In der Abbildung oben ist ein einfacher Workflow mit den Knoten Chat Input, Language Model und Chat Output dargestellt (rot umrahmt). Diese Knoten konnte ich per Drag & Drop in die Arbeitsfläche ziehen. Dabei wird farbig angezeigt, welche Verknüpfungen möglich sind.

Bei dem Language Model habe ich in der auf meinem Laptop installierten Ollama App ein Modell ausgesucht – in meinem Fall ist es Qwen 2.5. Es stehen hier alle in der Ollama App installierten KI-Modelle zur Verfügung. Wir testen mit geeigneten Open Weight, bzw. Open Source Modellen. Siehe dazu auch Open Source AI: Ministral 3B auf dem eigenen Laptop nutzen.

Diesen kleinen Workflow kann ich anschließend im Playground (Button rechts oben) testen. Als Chat Input habe ich dort eine Frage zu Eric von Hippel gestellt, die dann mit dem hinterlegten KI-Modell schnell beantwortet wurde – obwohl ich dazu einen relativ alten Laptop genutzt habe. Die folgende Abbildung zeigt das gute Ergebnis im Playground.

Ergebnis im Playground

Es ist also mit Ollama App und der Langflow App auf dem eigenen Laptop möglich, kleine KI-Modelle (Open Source, Open Weight) zu nutzen, und sogar kleine Workflows abzubilden. Dabei bleiben alle generierten Daten auf meinem Laptop. Das ist besonders wichtig, wenn ich nicht nur einen einfachen Workflow, abbilden, sondern KI-Agenten entwickeln möchte, die bei der Bearbeitung auch eigene Daten aus unserer Nextcloud mit berücksichtigen sollen – ganz im Sinne einer Digitalen Souveränität.

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.

Veröffentlicht am

Open Source AI: Die Salamandra Modell-Familie – fully Open Source – aus Barcelona

https://projecteaina.cat/tech/en/introducing-the-salamandra-family-of-models/

Es gibt in Europa immer mehr KI-Modelle, die die regionalen, sprachlichen (kulturellen) Unterschiede in ihren Trainingsdaten und ihrem hinterlegten Mindset berücksichtigen.

In der von mir mit Open Street Map erstellten Übersicht, kommt jetzt noch eine weitere Modell-Familie aus Spanien (Barcelona) hinzu. Die Modelle sind fully open source (weights, data and source), eingebettet in das Project Ania und berücksichtigen 35 europäische Sprachen, inkl. der Besonderheiten der katalanischen Sprache (Promoting catalan in the dgital age).

„The Salamandra model is one of the largest open source language models developed in Europe and promotes responsible use of AI, through careful treatment of training data. Specifically, the dataset includes 35 European languages ??with more than 2 trillion tokens. Through the different training epochs, an accurate representation of the different languages ??such as Catalan is guaranteed. All training data as well as evaluations and limitations of the model are available in the information of each model in Hugging Face“ (Projecte Aina, 2025).

Solche Entwicklung können Kleine und Mittlere Unternehmen (KMU) in der Europäischen Union für innovative Produkte und Dienstleistungen nutzen. Mit der regionalen Sprache und dem damit verbundenen kulturellen Mindset, sind solche Angebote näher an der Realität der Kunden.

Meine in Open Street Map (OSM) aktualisierte Übersicht zu Open Source AI in Europe

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in einem Paper ein.

Veröffentlicht am

Open Source Software Country Intelligence Report Germany 2026

https://interoperable-europe.ec.europa.eu/sites/default/files/inline-files/germany-2026-osor-country-report.pdf

Deutschland entwickelt sich immer mehr zum Treiber beim Einsatz von Open Source Software in Europa. Der nun veröffentlichte Report der Europäischen Kommission stellt die verschiedenen Aktivitäten übersichtlich und strukturiert dar. Interessant dabei ist, dass gerade Öffentliche Verwaltungen als Vorbilder für den sinnvollen Einsatz von Open Source Software hervorgehoben werden.

„At the local level, states and cities have played a consistent role in advancing open source adoption, often ahead of the federal government. Schleswig-Holstein has been a leading example, developing a clear open source strategy that other states have drawn on. Thüringen and Munich are also significant actors. Munich’s trajectory is particularly notable: the city was an early adopter of open source software, before going back to proprietary software in 2017. Munich has since come back to open source software to reduce dependencies and strengthen its digital autonomy, reflecting a broader shift in political and practical conditions“
Source: European Commission (2026) Open Source Software Country Intelligence Report Germany 2026 | PDF

Die stärkere Nutzung von Open Source Software sollte der erste Schritt sein, sich von den kommerziellen Anwendungen etablierter Tech-Konzerne unabhängiger zu machen. Wie wir wissen, ist das schon für viele eine große Hürde, da sich Personen und Organisationen in eine Pfadabhängigkeit begeben haben. Der Aufwand, sich nun Open Source zuzuwenden, ist nicht wegzudiskutieren, doch übersteigt der Nutzen von Open Source Software die Kosten deutlich.

Weiterhin sollte berücksichtigt werden, dass Open Source Software auch bedeutet, mehr Open Source AI (Open Source Künstliche Intelligenz) einzusetzen. Es macht keinen Sinn, für die Standardabläufe in der Organisation auf Open Source Software zu setzen, und weiterhin proprietäre KI-Modelle zu nutzen. Siehe dazu auch Die erfolgreiche Open Source KI Geschichte.

Es geht somit darum, auf der persönlichen Ebene, auf der Teamebene und auf der organisationalen Ebene ein auf Open Source basierendes Gesamtsystem zu nutzen, um Digitale Souveränität, und damit verbunden eine gewisse Resilienz gegenüber dem turbulenten Umfeld zu erzielen.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Paper ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

KI-Modelle: Kategorien im Vergleich

UN (2026) Preliminary Report of the Independent International Scientific Panel on AI
https://www.un.org/independent-international-scientific-panel-ai/en/preliminary-report

In dem Beitrag Das Kontinuum zwischen Closed Source AI und Open Source AI hatte ich darauf hingewiesen, dass es zwischen den Polen Closed Source AI (Proprietary Models) und Open Source AI ein Kontinuum gibt. In der Abbildung ist dazu beispielhaft die Kategorie Open Weight AI Models positioniert.

Alleine der Vergleich dieser drei Kategorien zeigt, dass Open Source Models im Vergleich zu den dominierenden Proprietary Models und Open Weight Models erhebliche Vorteile haben. Es wundert daher nicht, dass in den letzten Jahren ein deutlicher Trend zu Open Source AI Models zu erkennen ist. Dominiert wird der Markt allerdings (noch) von den KI-Modellen, die von großen Unternehmen entwickelt wurden.

„Business-led development. The development of frontier, general-purpose AI models is dominated by a small number of private firms with massive computing resources. In 2025, 91% of notable AI models originated from the private sector. Consequently, many decisions about training data, safeguards, deployment thresholds, model access and capability release sit inside private firms“ (UN 2026).

Interessant an der Abbildung oben ist, dass noch eine weitere Spalte zu erkennen ist: Open Development AI Models. Diese Kategorie ist (noch) sehr selten, obwohl gerade dieser Ansatz die größten gesellschaftlichen Vorteile verspricht. In Europa haben wir in dieser Richtung mit EuroLLM, Teuken 7B oder auf SOOFI vielversprechende Entwicklungen. Siehe dazu auch Open Street Map: Europäische Open Source KI Modelle in den jeweiligen Landessprachen.

Auf der internationalen Konferenz MCP 2026, 16.-19.09.2026, Balatonfüred, Ungarn gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

Digitale Souveränität in Deutschland: Von der Einstellung zur Umsetzung – eine deutliche Kehrtwende in Zahlen

Es ist schon erstaunlich, wie schnell sich alles ändern kann. Vor mehreren Jahren, als ich auf Konferenzen die Digitale Abhängigkeit von amerikanischen Tech-Konzernen gerade bei der Nutzung von Künstlicher Intelligenz angesprochen hatte, wurde der Hinweis eher belächelt.

In der Zwischenzeit ist in Europa der Gedanke einer Digitalen Souveränität nicht nur als neue Einstellung angekommen, sondern ist in vielen Bereichen schon zu erkennen, dass die Einstellung in Handlungen umgesetzt werden. Das ist nicht eine von mir formulierte Wunschvorstellung, sondern kann in der Zwischenzeit durch aktuelle Zahlen bestätigt werden.

„Digitale Souveränität wandelt sich innerhalb eines Jahres von einer Frage der Einstellung zu einer Frage der Umsetzung. Fast doppelt so viele Unternehmen in Deutschland befinden sich 2026 aktiv in der Einführung europäischer Software-Lösungen: 39,7 Prozent gegenüber 20,4 Prozent im Vorjahr. Der Anteil derer, die einen Wechsel innerhalb der nächsten sechs Monate planen, steigt von 3,9 Prozent auf 20,4 Prozent um über 400 Prozent. Gleichzeitig bricht der Anteil der Entscheider, die keine europäische Software einführen wollen, von 47,7 auf 4,6 Prozent fast komplett ein. Die Zahl der Unentschlossenen sinkt von 17,4 auf 3,9 Prozent. Eine klare Kehrtwende“  MYRA Security GmbH (2026) Unchartered Waters. State of Digital Sovereignty 2026 (PDF).

Siehe dazu auch  Open Street Map: Europäische Open Source KI Modelle in den jeweiligen Landessprachen und Skill shortage: Es fehlen Kompetenzen zu Open Source Software und Open Source Hardware.

Auf der internationalen Konferenz MCP 2026, 16.-19.09.2026, Balatonfüred, Ungarn gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

SOOFI S: Ein souveränes Open-Source Foundation Model für Deutsch und Englisch

English and German aggregate performance versus decode throughput (Droste, 2026)

In dem Beitrag Open Street Map: Europäische Open Source KI Modelle in den jeweiligen Landessprachen hatte ich verschiedene, in den jeweiligen europäische Landessprachen entwickelten KI-Modelle in einer Map positioniert, inkl. der jeweiligen Links.

Ein Sonderfall stellt SOOFI (Sovereign Open Source Foundation Models) dar. Hier geht es zwar auch um den Open Source Ansatz, doch speziell für die Industrie. Weiterhin liegt der Schwerpunkt auf den Sprachen Englisch und Deutsch.

Da wir in Deutschland stark industriell-technologisch ausgerichtete Branchen haben, stößt diese Entwicklung auf reges Interesse. Von dem SOOFI-Team wurde von Anfang an kommuniziert, dass es einen Vprab-Test des Modells in der Industrie geben wird, und die Community Verbesserungen vorschlagen kann – genau das ist passiert. Das Erkennen von Schwachstellen durch die Community ist also keine Schwäche des Modells, sondern eine Stärke des Open Source Ansatzes.

Eine Veröffentlichung des SOOFI-Teams aus dem Juli 2026 zeigt die aktuelle Performance des Modells im Vergleich mit anderen Open Source Modellen (Abbildung). Für mich interessant ist, dass sich diese Modelle zu 90% in der von mir erstellen MAP wiederfinden.

https://umap.openstreetmap.de/de/map/open-source-ai-in-europe_148154#4/41.141631/-1.134656

Das SOOFI-Modell ist (1) offen, (2) fokussiert auf die deutsche Sprache im industriellen Kontext, und (3) wirtschaftlich. Alle drei Faktoren machen SOOFI für deutsche Unternehmen aus der Industrie so wertvoll.

„Soofi S 30B-A3B addresses all three at once: It is a Mixture-of-Experts (MoE) hybrid Mamba Transformer trained to excel in both German and English and will be released radically open: not weights alone, but the full set of artifacts required to audit every stage of training and, where source licenses permit, rebuild the data mixture, in the spirit of recent fully open efforts“

Source: Droste et al. (2026) A Sovereign, Open-Source Foundation Model for German and English. Available from https://arxiv.org/abs/2607.09424 [Accessed 03.08.2026].

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

Künstliche Intelligenz und das Internationale Seerecht: Vom Mare Clausum zum Mare Liberum

Image by Christine JAMIN from Pixabay

In der Veröffentlichung MYRA Security GmbH (2026) Unchartered Waters. State of Digital Sovereignty 2026 (PDF) habe ich eine interessante Analogie gefunden, die ich hier in eigenen Worten wiedergeben möchte, obwohl Analogien / Vergleiche immer etwas hinken.

Wenn man sich mit dem Begriff der Souveränität beschäftigt, kann man bis zum 16. Jahrhundert zurückgehen. Dabei ging es zunächst um die Rolle des Souverän als Gewaltmonopol, mit Bodin (1530–1596) als Vordenker. Doch gibt es auch einen Bezug zu Souveränität, wenn wir uns die Entwicklung des Seerechts ansehen.

Durch die globale Vernetzung über die Weltmeere kam es schon im 15. Jahrhundert immer wieder zu Auseinandersetzungen, obwohl sich Spanien und Portugal in dieser Zeit im Vertrag von Tordesillas (1494) die Weltmeere aufgeteilt hatten. Es waren dabei zwei souveräne Meere entstanden, die von dem jeweiligen Land beansprucht wurden. In diesem Sinne kam es also zu jeweils geschlossenen Meeren: Lateinisch: Mare Clausum – Englisch: Closed Sea.

Um die dadurch immer wieder auftretenden Konflikte zu lösen, schlug Hugo Grotius vor, die Meere als offene Meere zu sehen, die allen zur Verfügung stehen sollten. Er veröffentlichte „1609 die Schrift Mare Liberum, die das niederländische Begehren eines freien Handels zur See unterstützt und juristisch begründet“ (Quelle: Wikipedia). Lateinisch: Mare Liberum – Englisch: Open Sea. „Der Teil der Weltmeere, der außerhalb einer Dreimeilenzone lag (Seemeile, 1852 m), galt als internationales Gewässer“ (Internationale Gewässer).

„Damals stand Mare Clausum – das geschlossene Meer – gegen Mare Liberum. Europa will keine Isolation und keinen „Konflikt“ gegen amerikanische oder asiatische Technologie. Es will verhindern, dass kritische digitale Infrastruktur faktisch in fremden Hoheitszonen gefangen bleibt. Die Forderung Europas nach digitaler Souveränität bedeutet in diesem Sinne dasselbe, was Grotius damals forderte: offene Räume, faire Regeln und echte Wahlfreiheit. Freiere digitale Weltmeere für eine neue Generation von Händlern“ (MYRA Security GmbH, 2026).

Ich kann mir hier die Analogie zu Closed Source AI und Open Source AI nicht verkneifen, auch wenn der Vergleich etwas hinkt. Dennoch: Open Source AI ist der zukunfsträchtigere Weg, Künstliche Intelligenz für alle Nationen und ihren Menschen nutzbar zu machen.

Es sollte nicht sein, dass das Machtmonopol nur bei einigen Wenigen liegt, die rein kommerzielle und kaum gesellschaftliche Interessen verfolgen. Das Beispiel des Seerechts zeigt auf, dass es sinnvoll ist, geschlossene Räume zu öffnen. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Auf der internationalen Konferenz MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

Künstliche Intelligenz: Kostenlose, unabhängige Online-Kurse – auch für Open Source KI

https://ki-campus.org/

Durch die neuen Möglichkeiten, Künstliche Intelligenz (KI, englisch AI) im privaten Umfeld, in Unternehmen und Öffentlichen Verwaltungen einsetzen zu können, entsteht natürlich ein riesiger Weiterbildungsbedarf.

In erster Linie versuchen die etablierten Anbieter proprietärer KI-Systeme durch „kostenlose“ Online-Lehrgänge mit firmeneigenem Zertifikat Personen und Organisationen an sich zu binden. Ich habe dabei das Wort „kostenlos“ absichtlich in Anführungszeichen gesetzt. Der Grund ist, dass diese Lehrgänge sich natürlich auf die KI-Modelle beziehen, die diese Unternehmen anbieten. Durch die Gewöhnung an die KI-Modelle entsteht eine Pfadabhängigkeit, die die Unternehmen dann später für die Kommerzialisierung nutzen. Die Nutzer solcher Angebote zahlen also mit ihrer KI-Abhängigkeit.

In der Zwischenzeit gibt es auf dem Weiterbildungsmarkt auch wieder sehr viele Angebote, die sich mit Künstlicher Intelligenz befassen. Dabei wird in den Ausschreibungen nicht immer angegeben, um welche KI-Modelle es sich handelt. Auch verwenden diese Angebote oftmals die gewohnten KI-Modelle, die die führenden Tech-Unternehmen anbieten. Es handelts sich hierbei um seine subtilere Art, seine Produkte in den Markt zu bringen, und die Nutzer auch über diesen Weg in die KI-Abhängigkeit zu führen.

Weiterbildungen im Bereich Open Source KI-Modelle findet man nicht so oft. Es besteht hier allerdings ein großer Bedarf, da viele Personen, Unternehmen und Öffentliche Verwaltungen gar nicht wissen, was mit Open Source KI möglich ist. Siehe dazu Skill shortage: Es fehlen Kompetenzen zu Open Source Software und Open Source Hardware.

Es freut mich daher, dass der KI-Campus hier eine Alternative bietet. Die vom Bund geförderte, gemeinwohlorientierte Initiative bietet kostenlose Online-Kurse (auch mit Zertifikat) für jeden und jede Organisation an. Dabei wird auch die strategische Bedeutung von Open Source KI (Closed Source AI – Open Source AI), Datensouveränität (Digitale Souveränität) durch Open Source KI thematisiert.

„Der KI-Campus ist die Lernplattform des Stifterverbandes für Künstliche Intelligenz. Mit kostenlosen Onlinekursen, Videos, Podcasts und Tools stärken wir als gemeinwohlorientierte Initiative KI-Kompetenzen in der Gesellschaft. Kooperation und Offenheit sind dabei Leitprinzipien für unsere Arbeit.“

Wenn es Ihnen also um Digitale Souveränität, Datenschutz und Transparenz bei der Nutzung von Künstlicher Intelligenz geht, sollten Sie sich überlegen, ob Sie sich nicht einmal mit Open Source AI befassen – am besten mit einem der vom KI-Campus dazu angebotenen kostenlosen Online-Kursen.