Veröffentlicht am

Open Source AI: Das Modell Olmo 1B auf dem eigenen Laptop nutzen (Edge Computing)

https://allenai.org/olmo

Das Allen Institute Ai2 ist eine non-profit Organisation mit Sitz in Seattle. Sie hat sich das Ziel gesetzt, Open Source AI Modelle für allgemeine oder spezielle Anwendnungen bereitzustellen. Die Modelle sind also keine Open Weight, sondern wirkliche Open Source Modelle.

In diesem Beitrag soll es um das Olmo-Modell 1B gehen, das so klein und dennoch leistungsstark ist, dass es auf einem handelsüblichen Laptop laufen kann (Edge Computing). Da ich die Ollama-App auf meinem Laptop installiert habe, konnte ich das Modell mit dem folgenden Befehl (cmd) unter Windows 11 herunterladen. Der Vorteil einer aktuellen Version der Ollama-App ist, dass diese schon GGUF-Modelle nutzen kann:

ollama run hf.co/NikolayKozloff/AMD-OLMo-1B-Q8_0-GGUF:latest

Nachdem der Download abgeschlossen war, wurde mir das Modell in der Ollama-App sofort in den Auswahlmöglichkeiten angezeigt – allerdings als Olmo 2 (Abbildung). Der Grund liegt in der Architekturverwandtschaft der Modelle und der Benennung bei Huggingface. Ai2 hat das Modell Olmo 1B auf Basis von Olmo 2 für das Edge Computing optimiert.

Screenshot aus der Ollama-App mit OLMo2 (OLMo 1B) und einer Abfrage zu Open User Innovation

Meine Frage nach Open User Innovation wurde zügig und gut beantwortet. Es ist schon erstaunlich, dass so kleine Modelle auf dem eigenen Laptop problemlos laufen und auch noch brauchbare Antworten liefern.

Gerade für Kleine und Mittlere Unternehmen (KMU) stellen Open Source KI-Modelle eine gute Basis dar, unabhängiger von den großen KI-Modellen zu werden, denn für viele Anwendungen reichen auch kleine Modelle aus. Gerade wenn man diese dann noch mit den eigenen Daten nutzt und diese dann auf dem eigenen Laptop bleiben – ein unschätzbarer Schritt in Richtung der Digitalen Souveränität. Siehe dazu auch

Die neue Olmo3 Modell-Familie

Open Source AI: Molmo 2 mit Schwerpunkt auf Videos

Mit FlexOlmo Trainingsmodelle kollaborativ erarbeiten – eine interessante Idee

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Präsentationen ein.

Veröffentlicht am

KI-Agenten: Agents of Chaos?

https://agentsofchaos.baulab.info/

Nach den großen KI-Sprachmodellen (LLM: Large Language Models), den kleineren Modellen (SLM: Small Language Models), den Mixed of Experts (MoE) Models sind seit einiger Zeit KI-Agenten im Fokus der Anbieter, Anwender und Forscher.

Nach dem ersten Hype um KI-Agenten mit Aussagen wie „KI Agenten ersetzen Mitarbeiter“ oder „KI-Agenten erhöhen die Produktivität“ usw. ist in der Zwischenzeit eine gewissen Ernüchterung eingetreten.

Ein Grund sind die unbestimmbaren Kosten von KI Agenten (Tokens). Siehe dazu Wirtschaftlichkeit von KI-Agenten: Warum kommt es bei den Token-Kosten oft zu regelrechten Abrechnungsschocks?

Ein weiterer Aspekt ist, dass die KI-Agenten eine Eigendynamik entwickeln, die von den Tech-Konzernen nicht mehr kontrolliert werden kann. Dazu haben Sie sicherlich auch in den einschlägigen Medien die Berichte über KI-Agenten gelesen, die „von sich aus“ andere Unternehmen und Organisationen gehackt haben. Beispielhaft sei hier nur die Meldung von der Tagesschau vom 22.07.2026 genannt: KI von OpenAI steuert eigenständig Hackerangriff – und nein, das ist kein Einzelfall.

Dass Unternehmen so sorglos mit dieser Entwicklung umgehen ist bemerkenswert, denn: Wer trägt den angerichteten Schaden? Möglicherweise entsteht der Schaden auch noch viel später und kann gar nicht mehr auf die Ursache zurückgeführt werden. Die in der Softwarebranche übliche Vorgehensweise, unfertige Software auf den Markt zu bringen und durch die Anwendung der Nutzer zu optimieren, ist im Zusammenhang mit KI-Agenten nicht sehr intelligent.

In der Forschungslandschaft haben schon viele Forscher auf die Tücken von KI-Agenten hingewiesen, doch werden solche Erkenntnisse oftmals von den Tech-Konzernen als störend für das Geschäftsmodell empfunden. Es ist allerdings die Aufgabe von Forschern, ohne Rücksicht auf die ohnehin einseitigen wirtschaftlichen Interessen von Unternehmen, auf wichtige Erkenntnisse hinzuweisen.

Beispielhaft möchte ich dazu die folgende Veröffentlichung nennen. Die Ergebnisse zeigen, wie chaotisch und teilweise gefährlich die Zusammenarbeit der KI-Agenten verlief.

„Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover“ (Shapira, N. et al. 2026 Agents of Chaos. Available from https://arxiv.org/abs/2602.20021).

Auf Basis guter wissenschaftlicher, transparenter und nachvollziehbarer Arbeit, haben die Forscher auf der dazugehörenden Website (Abbildung) die Vorgehensweise, die verwendeten KI-Agenten und die generierten Daten veröffentlicht. Es kann sich somit jeder ein eigenes Bild von dem Chaos der Agenten machen. Nicht umsonst heißt der Titel der Veröffentlichung und der dazugehörenden Website Agents of Chaos.

Es wäre gut, wenn einzelne Personen, Unternehmen und Öffentliche Verwaltungen nicht blind den Marketingversprechen der Konzerne folgen, sondern auch wissenschaftliche Erkenntnisse in ihre Entscheidungen zu KI einbeziehen würden.

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf solche Zusammenhänge ein:

Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs

Open-Source AI for Open User Innovation: Designing a Personal Fabrication Framework

Veröffentlicht am

Racka-4B – ein ungarisches KI-Modell

Image by Hermann Traub from Pixabay

In dem Blogbeitrag Für agglutinierende Sprachen wie Ungarisch, Baskisch, etc. reichen die üblichen KI-Modelle nicht aus wurde deutlich, dass es beispielsweise für die ungarische Sprache gut ist, ein spezielles Modell zu haben. So ein Modell (LLM) liegt nun mit Racka (Regionális Adatokon Célzottan Kialakított Alapmodell) vor.

„We present Racka-4B, a lightweight, continually pretrained large language model designed to bridge the resource gap between Hungarian and high-resource languages such as English and German. (…) The results also showcase that Racka-4B is capable of Hungarian chat with English reasoning even in the absence of explicit Hungarian post-training on these tasks“ (Csibi, Z. et al. (2026): Racka: Efficient Hungarian LLM Adaptation on Academic Infrastructure | PDF).

Das Modell Racka-4B basiert auf Qwen-3 und steht bei Huggingface zur Verfügung. Es ist also transparent und offen – ganz im Gegensatz zu den proprietären KI-Modellen der großen Tech-Konzerne. Diese suggerieren, dass es ausreicht, ein Modell für alles zu haben.

Dieser One Size Fits All – Gedanke ist zwar aus deren Sicht wirtschaftlich interessant, doch trifft dieser Ansatz immer weniger die Bedürfnisse der Menschen. Auch Racka-4B bestätigt eine Entwicklung zu europäischen Sprach-Modellen, die stärker regionale Besonderheiten berücksichtigen. Siehe dazu auch

Die MCP Community of Europe trifft sich in diesem Jahr vom 16.-19.09.2026 auf der MCP 2026 in Balatonfüred, Ungarn. Neueste Entwicklungen zu Mass Customization and Personalization, auch in Zeiten von Künstlicher Intelligenz, werden auf der Konferenz vorgestellt und diskutiert. Die Konferenz findet seit 2004 durchgehend alle 2 Jahre statt – die MCP 2026 ist somit die 12. Konferenz ihrer Art.

Open EuroLLM: Ein Modell Made in Europe – eingebunden in unsere LocalAI

Künstliche Intelligenz: Das polnische Sprachmodell PLLuM

Minerva AI LLM: Das italienischsprachige KI-Modell

Open Source AI: Veröffentlichung der ALIA AI Modelle für ca. 600 Millionen Spanisch sprechender Menschen weltweit

Veröffentlicht am

Künstliche Intelligenz: Das polnische Sprachmodell PLLuM

Es ist schon erstaunlich, wie dynamisch sich in Europa länderspezifische Large Language Models (LLMs) und europäische LLMs entwickeln.

In 2024 wurde beispielsweise Teuken 7B veröffentlicht, über das wir in unserem Blog auch berichtet hatten. Siehe dazu Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.

Weiterhin wurde Open EuroLLM veröffentlicht, ein „Large language Model made in Europe built to support all official 24 EU languages„. Die generierten Modelle sind Multimodal, Open Source, High Performance und eben Multilingual.

Zusätzlich zur europäischen Ebene gibt es allerdings auch immer mehr spezielle, länderspezifische Large Language Models (LLMs), wie das in 2025 veröffentlichte PLLuM ((Polish Large Language Model). Ich möchte an dieser Stelle drei wichtige Statements wiedergeben, die auf der Website zu finden sind:

Polnische Sprachunterstützung
Ein wichtiges Element dieses Projekts ist die Entwicklung eines umfassenden und vielfältigen Datensatzes, der die Komplexität der polnischen Sprache widerspiegelt.

Die polnische Sprachunterstützung geht darauf ein, dass die üblichen proprietären LLM überwiegend in englischer (chinesischer) Sprache trainiert wurden, und dann entsprechende Übersetzungen liefern. Diese sind für den Alltagsgebrauch durchaus nützlich, doch wenn es um die kulturellen, kontextspezifischen Nuancen einer Sprache geht, reichen diese großen KI-Modelle der Tech-Konzerne nicht aus.

Offene Zusammenarbeit und einfache Bedienung
Das PLLuM-Modell wird unter einer offenen Lizenz veröffentlicht. Die Modelle können über die Huggingface -Plattform heruntergeladen werden. Eine grafische Benutzeroberfläche (GUI) in Form eines Chats ist ebenfalls verfügbar.

Das PLLuM-Modell setzt auf Offenheit, Transparenz und einfache Bedienung. Es versteht sich daher von selbst, dass die Modelle bei Huggingface zur Verfügung stehen und genutzt werden können. Probieren Sie den Chat einfach einmal aus:

Sicherheit und Ethik
Wir stellen sicher, dass unser Modell sicher und frei von schädlichen und falschen Inhalten ist, was für seinen Einsatz in der öffentlichen Verwaltung von entscheidender Bedeutung ist.

Nicht zuletzt sind Sicherheit und Ethik wichtige Eckpunkte für das polnische Modell. Es unterscheidet sich dadurch von den bekannten großen KI-Modellen der Tech-Konzerne. Siehe dazu auch Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?

Interessant ist auch, dass auf der PLLuM-Website darauf hingewiesen wird, dass man durch diese KI-Modelle auch Innovationen fördern möchte. Wieder ein direkter Bezug zwischen Open Source AI und Innovationen.

Vertrauen Sie daher besser wirklichen Open Source AI – Anwendungen: Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Veröffentlicht am

Open Source AI: SERA – Open Coding Agents at low cost

Source: https://allenai.org/blog/open-coding-agents

Das Ai2 Institut hat immer wieder interessante KI-Modelle auf Open Source Basis veröffentlicht. Unter anderem sind das die OLMO 3 – Familien oder auch MOLMO mit Schwerpunkt auf Videos. Mit der SERA ist es nun möglich, Open Coding Agents zu stellen, und das zu geringen Kosten.

„Today we’re releasing not just a collection of strong open coding models, but a training method that makes building your own coding agent for any codebase – for example, your personal codebase or an internal codebase at your organization – remarkably accessible for tasks including code generation, code review, debugging, maintenance, and code explanation. (…) The challenge: specializing agents to your data“ (Source: https://allenai.org/blog/open-coding-agents).

Die Modellfamilie (8B bis 32B) steht selbstverständlich auf Huggingface zur Verfügung, und kann auf eigenen Servern genutzt werden. Ganz im Sinne von Open Source AI und Digitalen Souveränität.

Veröffentlicht am

Künstliche Intelligenz: Die neue Olmo3 Modell-Familie

https://allenai.org/

Auf die Olmo Modell Familie hatte ich diesen Blogbeitrag schon einmal hingewiesen: Mit der Olmo2 Modell-Familie offene Forschung an Sprachmodellen vorantreiben. Es handelt sich dabei um Modelle, die vom Ai2 Institut entwickelt und veröffentlicht werden. Ziel des Instituts ist es, neben der Offenheit der Modelle auch einen Beitrag zur Lösung der gesellschaftlichen Herausforderungen zu leisten. Im November 2025 ist die Olmo3 Modell-Familie veröffentlicht worden:

Olmo 3-Think (7B, 32B)–our flagship open reasoning models for advanced experiments, surfacing intermediate thinking steps.

Olmo 3-Instruct (7B)–tuned for multi-turn chat, tool use, and function/API calling.

Olmo 3-Base (7B, 32B)–strong at code, reading comprehension, and math; our best fully open base models and a versatile foundation for fine-tuning.

Die Modelle sind bei Huggingface frei verfügbar und können in einem Playground getestet werden.