Open Source AI: Das Modell Olmo 1B auf dem eigenen Laptop nutzen (Edge Computing)

https://allenai.org/olmo

Das Allen Institute Ai2 ist eine non-profit Organisation mit Sitz in Seattle. Sie hat sich das Ziel gesetzt, Open Source AI Modelle für allgemeine oder spezielle Anwendnungen bereitzustellen. Die Modelle sind also keine Open Weight, sondern wirkliche Open Source Modelle.

In diesem Beitrag soll es um das Olmo-Modell 1B gehen, das so klein und dennoch leistungsstark ist, dass es auf einem handelsüblichen Laptop laufen kann (Edge Computing). Da ich die Ollama-App auf meinem Laptop installiert habe, konnte ich das Modell mit dem folgenden Befehl (cmd) unter Windows 11 herunterladen. Der Vorteil einer aktuellen Version der Ollama-App ist, dass diese schon GGUF-Modelle nutzen kann:

ollama run hf.co/NikolayKozloff/AMD-OLMo-1B-Q8_0-GGUF:latest

Nachdem der Download abgeschlossen war, wurde mir das Modell in der Ollama-App sofort in den Auswahlmöglichkeiten angezeigt – allerdings als Olmo 2 (Abbildung). Der Grund liegt in der Architekturverwandtschaft der Modelle und der Benennung bei Huggingface. Ai2 hat das Modell Olmo 1B auf Basis von Olmo 2 für das Edge Computing optimiert.

Screenshot aus der Ollama-App mit OLMo2 (OLMo 1B) und einer Abfrage zu Open User Innovation

Meine Frage nach Open User Innovation wurde zügig und gut beantwortet. Es ist schon erstaunlich, dass so kleine Modelle auf dem eigenen Laptop problemlos laufen und auch noch brauchbare Antworten liefern.

Gerade für Kleine und Mittlere Unternehmen (KMU) stellen Open Source KI-Modelle eine gute Basis dar, unabhängiger von den großen KI-Modellen zu werden, denn für viele Anwendungen reichen auch kleine Modelle aus. Gerade wenn man diese dann noch mit den eigenen Daten nutzt und diese dann auf dem eigenen Laptop bleiben – ein unschätzbarer Schritt in Richtung der Digitalen Souveränität. Siehe dazu auch

Die neue Olmo3 Modell-Familie

Open Source AI: Molmo 2 mit Schwerpunkt auf Videos

Mit FlexOlmo Trainingsmodelle kollaborativ erarbeiten – eine interessante Idee

Auf der MCP 2026 (16.-19.09.2026, Balatonfüred, Ungarn) gehe ich auf diese Zusammenhänge in zwei Präsentationen ein.

Copyright © 2026. All Rights Reserved.