Veröffentlicht am

Künstliche Intelligenz: Vorteile von Small Language Models (SLMs)

Aktuell bekannte KI-Anwendungen rühmen sich seit Jahren, sehr große Mengen an Trainingsdaten (Large Language Models) zu verarbeiten. Der Tenor war und ist oft noch: Je größer die Trainingsdatenbank, um so besser.

In der Zwischenzeit weiß man allerdings, dass das so nicht stimmt und Large Language Models (LLMs) durchaus auch Nachteile haben. Beispielsweise ist die Genauigkeit der Daten ein Problem – immerhin sind die Daten oft ausschließlich aus dem Internet. Daten von Unternehmen und private Daten sind fast gar nicht verfügbar. Weiterhin ist das Halluzinieren ein Problem. Dabei sind die Antworten scheinbar plausibel, stimmen aber nicht.

Muddu Sudhaker hat diese Punkte in seinem Artikel noch einmal aufgeführt. Dabei kommt er zu dem Schluss, dass es in Zukunft immer mehr darauf ankommen wird, kleinere, speziellere Trainingsdatenbanken zu nutzen – eben Small Language Models (SLMs).

Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK

Große Vorteile der SLMs sieht der Autor natürlich einmal in der Genauigkeit der Daten und damit in den besseren Ergebnissen. Weiterhin sind SLMs natürlich auch kostensparender. Einerseits sind die Entwicklungskosten geringer, andererseits benötigt man keine aufwendige Hardware, um SLMs zu betreiben. Teilweise können solche Modelle auf dem eigenen PC, oder auf dem Smartphone betrieben werden.

Solche Argumente sind natürlich gerade für Kleine und Mittlere Unternehmen (KMU) interessant, die mit den geeigneten SLMs und ihren eigen, unternehmensinternen Daten ein interessantes und kostengünstiges KI-System aufbauen können.

Voraussetzung dafür ist für mich, dass alle Daten auf den eigenen Servern bleiben, was aktuell nur mit Open Source AI möglich ist. OpenAI mit ChatGPT ist KEIN Open Source AI.

Veröffentlicht am

All Our Ideas: Künstliche Intelligenz, Online-Umfragen und Crowdsourcing kombinieren

Quelle: https://all-our-ideas.citizens.is/domain/1/

Aktuell wird alles mit Künstlicher Intelligenz (AI: Artificial Intelligence) in Verbindung gebracht. Die Neukombination von bestehenden Ansätzen kann dabei zu interessanten Innovationen führen.

Die Website ALL Our Ideas verbindet beispielsweise Online-Umfragen mit Crowdsourcing und Künstlicher Intelligenz.

“All Our Ideas is an innovative tool that you can use for large-scale online engagements to produce a rank-ordered list of public input. This “Wiki Survey” tool combines the best of survey research with crowdsourcing and artificial intelligence to enable rapid feedback” (ebd.).

Ein kurzes Tutorial ist gleich auf der Website zu finden. Darin wird erläutert, wie Sie die Möglichkeiten selbst nutzen können. Starten Sie einfach mit einer eigenen Online-Umfrage.

Die Idee und das Konzept finde ich gut, da auch der Code frei verfügbar ist: Open Source Code. Damit kann alles auf dem eigenen Server installiert werden. Bei der Integration von KI-Modellen schlage ich natürlich vor, Open Source KI (Open Source AI) zu nutzen.

Veröffentlicht am

Digitale Souveränität: Wo befinden sich deine Daten?

Screenshot von unserer Nextcloud-Installation

Die Digitale Abhängigkeit von amerikanischen oder chinesischen Tech-Konzernen, macht viele Privatpersonen, Unternehmen und Verwaltungen nervös und nachdenklich. Dabei stellen sich Fragen wie:

Wo befinden sich eigentlich unsere Daten?

Wissen Sie, wo sich ihre Daten befinden, wenn Sie neben ihren internen ERP-Anwendungen auch Internet-Schnittstellen, oder auch Künstliche Intelligenz, wie z.B. ChatGPT etc. nutzen?

Um wieder eine gewissen Digitale Souveränität zu erlangen, setzen wir seit mehreren Jahren auf Open Source Anwendungen. Die Abbildung zeigt beispielhaft einen Screenshot aus unserer NEXTCLOUD. Es wird deutlich, dass alle unsere Daten in Deutschland liegen – und das auch bei Anwendungen zur Künstlichen Intelligenz, denn wir verwenden LocalAI.

Veröffentlicht am

Digitale Souveränität: Souveränitätsscore für KI Systeme

Souveränitätsscore für KI-Systeme – Ausschnitt (Quelle: https://digital-sovereignty.net/score/score-ai)

In der Zwischenzeit sind sehr viele KI-Modelle (AI Model) verfügbar, sodass es manchmal zu etwas unscharfen Beschreibungen kommt. Eine erste Unterscheidung ist, Closed Source AI, Open Weights AI und Open Source AI nicht zu verwechseln. In dem Beitrag AI Kontinuum wird das erläutert.

“OpenAI” wurde beispielsweise als Muttergesellschaft von ChatGPT 2015 als gemeinnützige Organisation gegründet, seit 2019 ist “OpenAI” gewinnorientiert und wird von Microsoft dominiert. Durch geschicktes Marketing wird oftmals suggeriert, dass von kommerziellen Anbietern bereitgestellte Modelle “Open Source AI” sind.

Dabei stellt sich natürlich gleich die Frage, nach einer entsprechenden Definition, die es auch seit 2024 gibt: Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht.

Wenn Sie sich also für AI Modelle interessieren, können Sie dieses Modell gegenüber den in der Definition genannten Kriterien prüfen.

Weiterhin können Sie den Souveränitätsscore für KI Systeme von Prof. Wehner nutzen (Abbildung). Schauen Sie sich auf der Website auch noch weiter um – es lohnt sich.

Veröffentlicht am

Künstliche Intelligenz: Mit Private Prompts (Open Source) bleiben die Daten auf dem eigenen Rechner

Was passiert eigentlich mit meinen Daten, wenn ich Künstliche Intelligenz nutze? Bei Anweisungen (Prompts) an das jeweilige KI-Modell ist oft nicht klar, was mit den Daten passiert, da viele der bekannten Modelle – wie beispielsweise ChatGPT – Closed Source Models, also nicht transparent sind.

Gerade wenn es um persönliche Daten geht, ist das unangenehm. Es ist daher sehr erfreulich, dass die Entwicklung eines Tools, dass die privaten Daten schützt öffentlich gefördert wurde und als Open Source Anwendung frei zur Verfügung steht.

“Mit der kostenlosen Anwendung Private Prompts bleiben deine Daten dort, wo sie hingehören – bei dir auf deinem Rechner. Die Entwicklung von Private Prompts wird im Zeitraum 1.9.2024-28.02.2025 gefördert durch das Bundesministerium für Bildung und Forschung und den Prototype Fund (Förderkennzeichen 01IS24S44)” (Quelle: https://www.privateprompts.org/).

Wir gehen noch einen Schritt weiter, in dem wir LocalAI auf unserem Server installiert haben. Wir nutzen dabei verschiedene Modelle, die als Open Source AI bezeichnet werden können. Siehe dazu

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Veröffentlicht am

AI: Was ist der Unterschied zwischen Open Source und Open Weights Models?

In verschiedenen Beiträgen habe ich schon erläutert, dass sich Open Source AI und Closed Source AI unterscheiden. Die bekannten Closed Source AI Modelle wie z.B. ChatGPT von (OpenAI) sind beispielsweise nicht wirklich Open Source sind, da dsolche Modelle intransparent sind und den eigentlichen Zweck haben, wirtschaftliche Gewinne zu generieren – koste es was es wolle. Siehe dazu Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Zwischen diesen beiden Polen Open Source AI und Closed Source AI gibt es allerdings – wie immer – ein Kontinuum von weiteren Möglichkeiten. Beispielsweise sind LLama, Mistral und Gemma nicht so ohne weiteres den beiden Extremen zuzuordnen, da diese Modelle teilweise offen sind. Solche Modelle werden Open Weights Models genannt:

“As a result, the term “Open Source” has been used to describe models with various levels of openness, many of which should more precisely be described as “open weight” models. Among the Big AI companies, attitudes towards openness vary. Some, like OpenAI or Anthropic, do not release any of their models openly. Others, like Meta, Mistral or Google, release some of their models. These models — for example, Llama, Mistral or Gemma — are typically shared as open weights models” (Tarkowski, A. (2025): Data Governance in Open Source AI. Enabling Responsible and Systemic Access. In Partnership with the Open Source Initiative).

Warum nur werden solche Modelle angeboten? Der Grund kann sein, dass man mit dieser Strategie versucht, dem Regulierungsbestreben z.B. der Europäischen Union entgegenzuwirken. Ich hoffe, dass das nicht funktioniert und Big Tech gezwungen wird, sich an die Spielregeln in der Europäischen Union zu halten. Aktuell sieht es so aus, dass die neue Regierung der USA die Europäische Union auch bei diesem Thema vor sich hertreiben möchte.

Veröffentlicht am

AI Agents: Langflow (Open Source) auf unserem Server installiert

Das nächste große Ding in der KI-Entwicklung ist der Einsatz von KI-Agenten (AI Agents). Wie schon in vielen Blogbeiträgen erwähnt, gehen wir auch hier den Weg dafür Open Source zu verwenden. Bei der Suche nach entsprechenden Möglichkeiten bin ich recht schnell auf Langflow gestoßen. Die Vorteile lagen aus meiner Sicht auf der Hand:

(1) Komponenten können per Drag&Drop zusammengestellt werden.
(2) Langflow ist Open Source und kann auf unserem eigenen Server installiert werden. Alle Daten bleiben somit auf unserem Server.

Die Abbildung zeigt einen Screenshot von Langflow – installiert auf unserem Server.

Auf der linken Seite der Abbildung sind viele verschiedene Komponenten zu sehen, die in den grau hinterlegten Bereich hineingezogen werden können. Per Drag&Drop können INPUT-Komponenten und OUTPUT-Format für ein KI-Modell zusammengestellt – konfiguriert – werden. Wie weiterhin zu erkennen, ist standardmäßig OpenAI als KI-Modell hinterlegt. Für die Nutzung wird der entsprechende API-Schlüssel eingegeben.

Mein Anspruch an KI-Agenten ist allerdings, dass ich nicht OpenAI mit ChatGPT nutzen kann, sondern auf unserem Server verfügbare Trainingsdaten von Large Language Models (LLM) oder Small Language Models (SML), die selbst auch Open Source AI sind. Genau diesen Knackpunkt haben wir auch gelöst. Weitere Informationen dazu gibt es in einem der nächsten Blogbeiträge. Siehe in der Zwischenzeit auch

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Digitale Souveränität: Europa, USA und China im Vergleich

Veröffentlicht am

LocalAI: KI-Modelle und eigene Daten kombinieren

NEXTCLOUD ASSISTENT – Eigener Screenshot

Wenn Sie die bekannten Trainingsmodelle (LLM: Large Language Modells) bei ChatGPT (OpenAI), Gemini (Google) usw. nutzen, werden Sie sich irgendwann als Privatperson, oder auch als Organisation Fragen, was mit ihren eingegebenen Texten (Prompts) oder auch Dateien, Datenbanken usw. bei der Verarbeitung Ihrer Anfragen und Aufgaben passiert.

Antwort: Das weiß keiner so genau, da die KI-Modelle nicht offen und transparent sind.

Ein wirklich offenes und transparentes KI-Modell orientiert sich an den Vorgaben für solche Modelle, die in der Zwischenzeit veröffentlicht wurden. Siehe dazu beispielsweise Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Um die eigene Souveränität über unsere Daten zu erlangen, haben wir seit einiger Zeit angefangen, uns Stück für Stück von kommerziellen Anwendungen zu lösen. Angefangen haben wir mit NEXTCLOUD, das auf unserem eigenen Server läuft. NEXTCLOUD Hub 9 bietet die Möglichkeiten, die wir alle von Microsoft kennen.

Dazu kommt in der Zwischenzeit auch ein NEXTCLOUD-Assistent, mit dem wir auch KI-Modelle nutzen können, die auf unserem Serverlaufen. Dieses Konzept einer LOCALAI – also einer lokal angewendeten KI – ist deshalb sehr interessant, da wir nicht nur große LLM hinterlegen, sondern auch fast beliebig viele spezialisierte kleinere Trainingsmodelle (SML: Small Language Models) nutzen können. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In dem Blogbeitrag LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten haben wir dargestellt, wie im NEXTCLOUD Assistenten mit einer lokalen KI gearbeitet werden kann.

Wie in der Abbildung zu sehen, können wir mit dem NEXTCLOUD Assistenten auch Funktionen nutzen, und auch eigene Dateien hochladen. Dabei werden die Dateien auch mit Hilfe von dem jeweils lokal verknüpften lokalen KI-Modell bearbeitet. Alle Daten bleiben dabei auf unserem Server – ein unschätzbarer Vorteil.

Die Kombination von LOCALAI mit eigenen Daten auf dem eigenen Server macht dieses Konzept gerade für Kleine und Mittlere Unternehmen (KMU) interessant.

Veröffentlicht am

Künstliche Intelligenz und Open Innovation

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Zunächst sollten Sie sich noch einmal klar machen, wie sich Closed Innovation und Open Innovation unterscheiden. Wie so oft, gibt es nicht nur die beiden Pole, sondern ein Innovations-Kontinuum (Roth 2008). Weiterhin finden Sie in dem Beitrag Künstliche Intelligenz im Innovationsprozess von Organisationen Hinweise dazu, welche Vorteile, bzw. Nachteile es geben kann, wenn für jeden Schritt im Innovationsprozess eines der bekannten KI-Modelle wie ChatGPT, Gemeni etc. genutzt wird.

In diesem Beitrag geht es mir darum aufzuzeigen, wie Künstliche Intelligenz bei Open Innovation genutzt werden kann. Wie der folgenden Tabelle zu entnehmen ist, kann zwischen der Verbesserung von Open Innovation durch KI (OI-Enhancing AI), einer Ermöglichung von Open Innovation durch KI (OI-Enabling AI) und der Ersetzung von Open Innovation durch KI (OI-Peplacing AI) unterschiedenen werden. Die jeweils genannten Beispiele zeigen konkrete Einsatzfelder.

DescriptionExamples
OI-Enhancing AIAI that enhances established forms of open innovation by utilizing the advantages of AI complemented with human involvementInnovation search
Partner search
Idea evaluation
Resource utilization
OI-Enabling AIAI that enables new forms of open innovation, based upon AI’s potential to coordinate and/or generate innovationAI-enabled markets
AI-enabled open business models
Federated learning
OI-Replacing AIAI that replaces or significantly reshapes established forms of open innovationAI ideation
Synthetic data
Multi-agent systems
Quelle: Holgersson  et al. (2024)

Alle drei Möglichkeiten – mit den jeweils genannten Beispielen – können von einem KI-Modell (z.B. ChatGPT oder Gemeni etc.) der eher kommerziell orientierten Anbieter abgedeckt werden. Dieses Vorgehen kann als One Sizes Fits All bezeichnet werden.

Eine andere Vorgehensweise wäre, verschiedene spezialisierte Trainingsmodelle (Large Language Models) für die einzelnen Prozessschritte einzusetzen. Ein wesentlicher Vorteil wäre, dass solche LLM viel kleiner und weniger aufwendig wären. Das ist gerade für Kleine und Mittlere Unternehmen (KMU) von Bedeutung.

Nicht zuletzt kann auch immer mehr leistungsfähige Open Source AI eingesetzt werden. Dabei beziehe ich mich auf die zuletzt veröffentlichte Definition zu Open Source AI. Eine Erkenntnis daraus ist: OpenAI ist kein Open Source AI. Die zuletzt veröffentlichten Modelle wie TEUKEN 7B oder auch Comon Corpus können hier beispielhaft für “wirkliche” Open source AI genannt werden.

Weiterhin speilen in Zukunft AI Agenten – auch Open Source – eine immer wichtigere Rolle.

Veröffentlicht am

Künstliche Intelligenz im Innovationsprozess von Organisationen

Quelle: AdobeStock_650993865

Innovationen sind für eine Gesellschaft, und hier speziell für marktorientierte Organisationen wichtig, um sich an ein verändertes Umfeld anzupassen (inkrementelle Innovationen), bzw. etwas ganz Neues auf den Markt zu bringen (disruptive Innovationen).

Organisationen können solche Innovationen in einem eher geschlossenen Innovationsprozess (Closed Innovation) oder in einem eher offenen Innovationsprozess (Open Innovation) entwickeln.

Darüber hinaus können die Innovationen von Menschen (People Driven) oder/und von Technologie (Data Driven) getrieben sein. Aktuell geht es in vielen Diskussionen darum, wie Künstliche Intelligenz (AI: Artificial Intelligence) und die damit verbundenen Trainingsdaten (LLM: Large Language Models) im Innovationsprozess genutzt werden können.

Im einfachsten Fall würde sich eine Organisation den Innovationsprozess ansehen, und in jedem Prozessschritt ein Standard-KI-Modell wie ChatGpt, Gemini, Bart usw. nutzen. Die folgende Tabelle stellt das grob für einen einfachen Innovationsprozess nach Rogers (2003) dar:

Opportunity identification and idea generationIdea evaluation and selectionConcept and solution developmentCommercialization launch phase
e.g. identifying user needs, scouting promising technologies, generating ideas;e.g. idea assessment, evaluatione.g. prototyping, concept testinge.g. marketing, sales, pricing
ChatGPT, Gemeni, etc.ChatGPT, Gemini, etc.ChatGPT, Gemini, etc.ChatGPT, Gemini, etc.
Eigene Darstellung

Dieser Ansatz könnte als One Size fits all interpretiert werden: Eine Standard-KI für alle Prozessschritte.

Dafür sprechen verschiedene Vorteile:
– Viele Mitarbeiter haben sich schon privat oder auch beruflich mit solchen Standard-KI-Modelle beschäftigt, wodurch eine relativ einfache Kompetenzentwicklung möglich ist.
– Die kommerziellen Anbieter treiben AI-Innovationen schnell voran, wodurch es fast “täglich” zu neuen Anwendungsmöglichkeiten kommt.
– Kommerzielle Anbieter vernetzen KI-Apps mit ihren anderen Systemen, wodurch es zu verbesserten integrierten Lösungen kommt.

Es gibt allerdings auch erhebliche Nachteile:
– Möglicherweise werden auch andere Organisationen/Wettbewerber so einen Ansatz wählen, sodass kaum ein grundlegendes Alleinstellungsmerkmal erzielt werden kann.
– Kritisch ist auch heute noch, ob es sich bei den verwendeten Trainingsdaten (Large Language Models) nicht um Urheberrechtsverletzungen handelt. Etliche Klagen sind anhängig.
– Weiterhin können die für Innovationen formulierte Prompts und Dateien durchaus auch als Trainingsdaten verwendet werden.
– Die LLM sind nicht transparent und für alle zugänglich, also sie sind keine Open Source AI, auch wenn das von den kommerziell betriebenen KI-Modellen immer wieder suggeriert wird.
– Organisationen sind anhängig von den Innovationsschritten der kommerziellen Anbieter.
– Die Trainingsdatenbanken (Large Language Models) werden immer größer und damit natürlich auch teurer.
– Nicht zuletzt ist unklar, wie sich die Kosten für die kommerzielle Nutzung der KI-Apps in Zukunft entwickeln werden – eine gerade für kleine und mittlere Unternehmen (KMU) nicht zu unterschätzende Komponente.

Gerade kleine und mittlere Unternehmen (KMU) sollten die genannten Vorteile und Nachteile abwägen und überlegen, wie sie Künstliche Intelligenz in ihrem Innovationsprozess nutzen wollen.

In unserem Blog werde ich in der nächsten Zeit weitere Möglichkeiten aufzeigen.