Veröffentlicht am

Für eine Aufgabe das geeignete KI-Modell mit dem Smart Router in Langflow auswählen

An AI router that understands the capabilities of models in its library directs
a given inference request to the best model able to perform the task at hand (Thomas et al. 2025)

Es ist in Organisationen nicht mehr zeitgemäß, alle anfallenden Aufgaben (Tasks) von einem sehr großen und Leistungsfähigen KI-Modell bearbeiten zu lassen. Dieses „One Size Fits All“ führt nur zu einem erhöhten Ressourcenverbrauch und damit zu hohen Kosten.

Besser ist es, für jede Anfrage das geeignete Modell auszuwählen. In dem Beitrag Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren hatte ich diese Vorgehensweise grob dargestellt. Die Abbildung zeigt das prinzipielle Vorgehen: Ein AI Router entscheidet auf Basis von Vorgaben, welches KI-Modell für den Task geeignet erscheint.

Da wir auf Open Source Software und Open Source AI setzen, ist es interessant, dass Langflow nun die Möglichkeit bietet, einen Smart Router zu nutzen. Basis ist dabei die schon vorhandene Wenn > Dann (If-Else) Funktion.

„The Smart Router component is an LLM-powered variation of the If-Else component. Instead of string matching, the Smart Router uses a connected Language Model component to categorize and route incoming messages“
Langflow. (o. D.). Quickstart. Langflow Documentation. Abgerufen am 16. Oktober 2026, von https://docs.langflow.org/get-started-quickstart)

Siehe dazu auch

Freund, R., Anisic, Z. (2026): Digital Sovereignty and Open-Source AI: The European Way for Innovative SMEs. International Conference MCP 2026, 16.-19.09.2026, Balatonfüred, Hungary.

Veröffentlicht am

Künstliche Intelligenz: Mit einem AI Router verschiedene Modelle kombinieren

An AI router that understands the capabilities of models in its library directs
a given inference request to the best model able to perform the task at hand (Thomas et al. 2025)

Wenn es um die bei der Anwendung von Künstlicher Intelligenz (GenAI) verwendeten Trainingsmodelle geht, stellt sich oft die Frage, ob ein großes Modell (LLM: Large Language Model) für alles geeignet ist – ganz im Sinne von „One size fits all“. Siehe dazu diesen Blogbeitrag zu den Vorteilen und Nachteilen dieser Vorgehensweise.

Eine andere Herangehensweise ist, mehrere spezialisierte kleinere Trainingsmodelle (SLM: Small Language Models) zu verwenden, die verschiedene Vorteile bieten. Siehe dazu Künstliche Intelligenz: Vorteile von Small Language Models (SLMs).

Neben den genannten Extremen gibt es noch Modelle, die dazwischen anzusiedeln sind, und daher als „midsized“ bezeichnet werden können.

Diese drei Möglichkeiten sind beispielhaft in der Abbildung unter „Sample of model ecosystem“ zusammengefasst. Erfolgt also eine neue Anfrage über den „New data point“ an den AI Router, so kann der vorher trainierte AI Router das geeignete Trainingsmodell (Small, Midsized, Large) zuweisen.

Die Autoren (Thomas et al. 2025) konnten in verschiedenen Tests zeigen, dass ein guter Mix an geeigneten Modellen, zusammen mit einem gut trainierten AI Router bessere und wirtschaftlichere Ergebnisse erzielt.

Die Vorteile liegen auf der Hand: Sie sparen Geld, reduzieren die Latenz und helfen der Umwelt. Diese Punkte sind gerade für Kleine und Mittlere Unternehmen (KMU) interessant.