Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data

Immer mehr Privatpersonen und Organisationen realisieren, dass die populären Trainingsdaten (LLM: Large Language Models) für ChatGPT von OpanAI, oder auch Gemini von Google usw., so ihre Tücken haben können, wenn es beispielsweise im andere oder um die eigenen Urheberrechte geht. In diesem Punkt unterscheiden wir uns in Europa durchaus von den US-amerikanischen und chinesischen Ansätzen. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich. Darüber hinaus liegen die Daten der bekannten (closed source) LLMs zu einem überwiegenden Teil in englischer oder chinesischer Sprache vor.

Die Alternativen waren bisher entweder nicht leistungsstark genug, oder einfach nicht für die Allgemeinheit als Open Source Model verfügbar. Siehe dazu Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht. Das hat sich in der Zwischenzeit geändert. Beispielsweise wurde Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht, die gerade Daten für KI-Anwendungen enthält, die urheberrechtlich freigegeben wurden. Weiterhin gibt es das geförderte Projekt OpenGPT-X, das nun Teuken 7B-v0.4 veröffentlicht hat.

Quelle: https://opengpt-x.de/en/models/teuken-7b/

“Multilingual, open source models for Europe – instruction-tuned and trained in all 24 EU languages…. Training on >50% non English Data. (…) This led to the creation of a custom multilingual tokenizer” (ebd.).

Neben der freien Verfügbarkeit (Open Source AI) (via Hugging Face) ist somit ein großer Pluspunkt, dass eine große Menge an Daten, nicht englischsprachig sind. Das unterscheidet dieses Large Language Model (LLM) sehr deutlich von den vielen englisch oder chinesisch dominierten (Closed Source) Large Language Models.

Insgesamt halte ich das alles für eine tolle Entwicklung, die ich in der Geschwindigkeit nicht erwartet hatte!

Unternehmen: Von der Strukturdominanz zur Prozessdominanz

Image by Gerd Altmann from Pixabay

Aktuell sieht es in vielen Unternehmen noch so aus, dass die Struktur (Aufbauorganisation) die Prozesse (Ablauforganisation) bestimmt und dominiert. Etwas überzogen formuliert: Die Prozesse werden an die Struktur angepasst. In Zeiten der Digitalisierung wird manchmal sogar krampfhaft versucht, die Prozesse so zu digitalisieren, dass die Struktur nicht verändert werden muss.

Das kann auf Dauer nicht gut gehen, denn das Umfeld verändert sich sehr dynamisch und erfordert teilweise ganz neue Prozesse in Unternehmen, die manchmal wenig oder sogar keine Struktur benötigen, da diese digitalen Prozesse beispielsweise über Plattformen von Kunden/Bürger usw. selbst durchgeführt werden. Dazu habe ich folgenden Text gefunden:

“Mit dem Wissen über Prozesse und Strukturen des biologischen Lebens, der Zellen, der DNA, etc. nähern sich die Prozesse und Strukturen vieler Unternehmen der Prozessdynamik des evolutionären Lebens an. Aber die Mehrheit der Unternehmen hat diesen Weg noch nicht eingeschlagen und verharrt immer noch zu sehr auf der Strukturdominanz. Einen neuen kräftigen Schub zu mehr Prozessdominanz wird die Digitalisierung in Verbindung mit künstlicher Intelligenz und Selbststeuerung erzeugen. Dies kann und wird vielfach zu umfassenden, z.T. sehr radikalen Veränderung der Energieprozesse und zu neuen dissipativen Strukturen von Unternehmen führen” (Zangl 2024, in Koller et al. 2024: Die Zukunft der Grenzenlosen Unternehmung).

Wenn sich Unternehmen also stärker an dem Umfeld orientieren, werden sie sich zwangsläufig immer mehr an die evolutionäre Prozessdynamik anpassen. Das wiederum wird dazu führen, dass es zu einer deutlichen Prozessdominanz kommen wird. Darüber hinaus wird sich zeigen, ob bestehende Unternehmen in der Lage sind ihre Strukturen schnell anzupassen, ob für die aufgezeigte Entwicklung ganz andere Unternehmen benötigt werden.

Wie hängen Wandel, Energie und Prozess zusammen?

Image by Michael Heck from Pixabay

In der heutigen Diskussion um technologische und gesellschaftliche Veränderungen kommt immer wieder der Begriff Wandel auf, der früher eher gemächlich war und heute als turbulent empfunden wird.

Es geht um den demographischen Wandel, den Klimawandel usw.. Der Begriff “Wandel” wird in diesen Zusammenhängen oft negativ besetzt – dabei gibt es durchaus auch positive Seiten eines Wandels. Um es klarzustellen: Ich leugne nicht die wissenschaftlich belegten großen Veränderungen unseres Klimas. Dennoch bin ich auch jemand, der gerne möglichst viele Facetten eines Themas beleuchtet.

Wie kann man sich also dem Begriff “Wandel” etwas unvoreingenommener nähern? Ich habe dazu einen Text gefunden, der das durchaus ermöglicht:

“Ein Prozess ist Bewegung oder naturwissenschaftlich ausgedrückt, eine „zeitliche Änderung des Zustandes eines physikalischen Systems“ (o.V., spektrum.de). Bewegung wiederum ist nur möglich durch Energie, insofern ist Bewegung ein Energieprozess. Um ein physikalisches System zu verändern, ein Ziel, ein Ergebnis, einen neuen Zustand oder Ort zu erreichen, muss ein Energieprozess ablaufen. In einem Energieprozess wird kontinuierlich eine Energieform in eine andere umgewandelt, insofern ist ein Prozess eine dauerhafte Energieumwandlung” (Zangel 2024, in Koller et al. 2024: Die Zukunft der Grenzenlosen Unternehmung).

Wandel als einen Prozess der Energieumwandlung zu verstehen, der schon seit dem Urknall erfolgt, ist eine interessante Perspektive, die zeigt, dass so ein Wandel nicht zu stoppen ist. Das heißt allerdings nicht, dass man nichts machen kann.

Diese (Energie-) Umwandlung zum Wohle aller zu beeinflussen, sollte unser aller Anspruch sein. Dazu kann jeder Einzelne einen Teil beitragen – beispielsweise auch, indem wir von anderen lernen. Japan hat mit der Society 5.0 ein erstes, aus meiner Sicht gutes, Zielbild für eine menschenzentrierte Gesellschaft skizziert, in der die neuen Technologien eine wichtige Rolle spielen. Mit diesem Ansatz grenzt sich Society 5.0 von der Industry 5.0 ab.

Wie entsteht Handlungsfähigkeit?

Quelle: Arnold (2017)

In einem turbulenten Umfeld handlungsfähig zu bleiben ist wichtig. Dabei stellt sich natürlich gleich die Frage, was Handlungsfähigkeit ausmacht, und wie diese entwickelt werden kann. Das Kompetenztableau (Abbildung) zeigt, dass es um die zwei Dimensionen “Selbstwirksamkeit” (Eigene Überzeugung, schwierige Situationen bewältigen zu können) und “Kooperation” geht – jeweils von niedrig bis hoch.

In diesem Spannungsfeld sind Emotionale Kompetenz, Spirituelle Kompetenz (ohne esoterisch zu sein, Kommunikative Kompetenz, Wissenskompetenz und Lernkompetenz eingebettet. Je besser diese Kompetenzen ausgeprägter sind, um so Handlungsfähiger ist jemand im Sinne einer sachgemäßen Problemlösung.

Siehe dazu auch Freund, R. (2011): Das Konzept der Multiplen Kompetenz auf den Analyseebenen Individuum, Gruppe, Organisation und Netzwerk.

Hybride Intelligenz: Zusammenspiel von Mensch, Maschine und Künstlicher Intelligenz

Wenn es um zu lösende Probleme in einem beruflichen Umfeld geht, so gibt es dabei sehr viele einzelne Aufgaben, die im Zusammenspiel von Menschen, Maschinen und Künstlicher Intelligenz gelöst werden können. Welche “Konfiguration” dabei angemessen erscheint, ist Abhängig vom Kontext, dem Task (Aufgabe) und den vorhandenen Problemlösungspotentialen. An dieser Stelle kommt der Begriff Hybride Intelligenz ins Spiel.

“Dellermann, Ebel, Söllner und Leimeister (2019: 638) definieren hybride Intelligenz als die Fähigkeit, komplexe Ziele durch die Kombination menschlicher und künstlicher Intelligenz zu erreichen, kontinuierlich voneinander zu lernen und dabei Ergebnisse zu produzieren, die über das hinaus gehen, was KI oder Mensch allein hätten erreichen können. Nicht immer lässt sich hierbei trennscharf zwischen Automation und Augmentation unterscheiden (Raisch & Krakowski, 2021). Der Grad der Automation bzw. Augmentation hängt immer individuell von der jeweiligen zu lösenden Aufgabe ab” (Piller et al. 2024, in Koller et al. 2024: Die Zukunft der Grenzenlosen Unternehmung).

Was allerdings unter “Menschlicher Intelligenz” verstanden wird, ist dabei nicht weiter erläutert. Ich gehe daher davon aus, dass von dem bekannten Intelligenzquotienten (IQ) ausgegangen wird, der sich in einer Zahl manifestiert. Dass das im Zusammenhang mit den Entwicklungen bei der Künstlichen Intelligenz kritisch sein kann, wird in dem Blogbeitrag OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler? deutlich.

Wenn wir weiterhin beachten, dass auch der Intelligenz-Begriff erweitert werden sollte, können wir möglicherweise auch von einer Multiplen Künstlichen Intelligenz sprechen. Siehe dazu auch Multiple Artificial Intelligences (MAI) statt Artificial General Intelligence (AGI)?

Wie die Zusammenarbeit mehrerer Generationen gelingen kann

RKW (2024): Praxisleitfaden

Wir kommen aus dem Schubladendenken (Taylorismus) des Industriezeitalters einfach nicht heraus. Alles wird in irgendeine Schublade oder Kategorie gepresst – auch Menschen. Beispielsweise unterscheiden wir Generation Z und die Generation der Baby-Boomer gegenüber, sodass alles Beschreibende zu einer Konfrontation führen muss. Auch hier wird oft von Entweder-Oder, statt von einem Sowohl-Als-Auch gesprochen und geschrieben.

Dieses “Stilmittel” ist beliebt, um Klickraten zu erhöhen, und Konflikte heraufzubeschwören, doch ist diese Vorgehensweise weniger geeignet, die aktuelle Situation in der Gesellschaft oder in Organisationen widerzugeben. Denn oftmals kommen die verschiedenen Generationen gut miteinander aus, da sie sich gut ergänzen.

“Diese gegenwärtig in der medialen Aufregungskultur befeuerten Generationenkonflikte sind kontraproduktiv. Sie sind klischeehaft und pauschalisierend und noch schlimmer: Sie helfen den kleinen und mittelständischen Unternehmen (KMU) nicht.” (RKW 2024: So gelingt eine gute Zusammenarbeit der Generationen) (PDF).

In der genannten Praxishelfe des RKW werden diese Themen noch einmal erläutert. Weiterhin gibt es in der Veröffentlichung Ergebnisse einer Studie und verschiedene Checklisten zur praktischen Anwendung.

Gerade in Projektteams arbeiten oft Mitarbeiter verschiedener Generationen zusammen. Dabei wird immer deutlicher, dass gerade Unterschiede bei den jeweiligen Kompetenzen bei der Problemlösung in Projekten hilfreich sein kann. Jedes Teammitglied kann von anderen lernen und sich dadurch weiterentwickeln: Individuelle Kompetenzentwicklung und Kompetenzentwicklung auf Team-Ebene.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Open Movement: Was ist darunter zu verstehen?

Ausschnitt von der Titelseite: Link (PDF)

Der Begriff “Open” wird in den vielfältigsten Zusammenhängen benutzt, sodass man auch von einer entsprechenden Bewegung sprechen kann: Open Movement. Dazu zählen beispielsweise Creative Commons, Open Knowledge Foundation, Open Future, Wikimedia, die sich in diesem Jahr zu einem Austausch getroffen haben. Dabei wurde der Begriff “Open Movement” noch einmal geschärft:

“When we use the term “open movement” in this exploration, our starting point is a definition of this movement as a sum of “people, communities, and organizations who

(1) contribute to shared resources online that are available for everyone to use and reuse, and/or
(2) advocate for non-exclusive access and use of information resources.

We add to this definition those who provide tools and standards for open sharing.”

Quelle: Open movement’s common(s) causes. Report from a Wikimania 2024 side event, November 2024 | PDF.

Anhand dieser beiden Punkte kann somit abgeklärt werden, ob eine Bewegung dazu zählt, oder ob das Attribut eher für rein wirtschaftliche Interessen in einem eigenen, geschlossenen (closed) Ökosystem verwendet wird. Siehe dazu auch Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht.

Nextcloud: Welche KI für welche Aufgabe?

Eigener Screenshot

In unserer Nextcloud (Hub 9) gibt es einen Nexcloud-Assistenten in dem verschiedene Aufgaben ausgewählt werden können (Siehe Abbildung). Weiterhin ist es möglich, zu jeder der genannten Anwendungen die geeignete KI (Künstliche Intelligenz) zu hinterlegen.

In der folgenden Abbildung ist zu sehen, dass für die Aufgaben “Free text to text prompt” und “Extract topics” z.B. OpenAI hinterlegt ist. Das Rollfeld zeigt, dass auch andere KI-Anwendungen ausgewählt werden können. Unser Ziel ist es in Zukunft mit leitungsfähigen Open Source KI-Anwendungen wie z.B. Common Corpus zu arbeiten. Siehe dazu auch Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht.

Eigener Screenshot

Digitale Souveränität: Europa, USA und China im Vergleich

Fratini, S., Hine, E., Novelli, C. et al. Digital Sovereignty: A Descriptive Analysis and a Critical Evaluation of Existing Models. DISO 3, 59 (2024). https://doi.org/10.1007/s44206-024-00146-7

Digitale Souveränität ist ein Begriff, der in den verschiedenen Regionen der Welt durchaus unterschiedlich interpretiert wird. In Deutschland hat beispielsweise das Bundesministerium des Innern den Begriff in einer Veröffentlichung zum Thema wie folgt beschrieben:

„Digitale Souveränität beschreibt die Fähigkeiten und Möglichkeiten von Individuen und Institutionen, ihre Rolle(n) in der digitalen Welt selbstständig, selbstbestimmt und sicher ausüben zu können“ (Bundesministerium des Inneren (2020): Digitale Souveränität).

In der Europäischen Union gibt es Initiativen, die den Sovereign Workplace mit Open Source Anwendungen propagieren, da die kommerziellen, marktgetriebenen Anwendungen (bis hin zur Künstlichen Intelligenz) durchaus kritisch gesehen werden. Der Grund dafür liegt u.a. auf der Argumentation, dass gute Trainingsdaten für Künstliche Intelligenz nur zu bekommen sind, wenn die Urheberrechte “nicht so genau” genommen werden. Common Corpus zeigt allerdings genau das Gegenteil.

In einem Paper haben nun Fratini et al. (2024) die verschiedenen Perspektiven auf die Digitale Souveränität von verschiedenen Ländern in einer Grafik positioniert, in der es die Pole Hard Regulation >< Soft Regulation bzw. Domestic State Control >< Geopolitical Competition gibt (siehe Abbildung). Wie zu erkennen ist, liegen die USA im marktorientierten Bereich und China eher im staats-dominierten Sektor.

Die Europäische Union favorisiert eher einen rechte-basierten Ansatz und versucht, dem mit verschiedenen Grundsatz-Veröffentlichungen, wie dem EU Artificial Intelligence Act, gerecht zu werden. Die Autoren weisen berechtigt darauf hin, dass es eine einheitliche europäische Positionierung zur Digitalen Souveränität bisher nicht gibt, da die nationalen Regelungen noch kein einheitliches Bild ergeben. Dennoch ist durchaus ein Trend zu erkennen.

Meines Erachtens ist der von der Europäischen Union eingeschlagene Weg richtig. Es zeigt sich gerade in der Nutzung von mehr Open Source Anwendungen, dass es eine lebenswertere Alternative zu den amerikanischen oder chinesischen Vorgehen gibt – gerade im Sinne einer menschenzentrierten Society 5.0.

Über den Umgang mit Transparenz und Visibilität bei Veränderungen

Bei Veränderungen sollten alle Beteiligten einer Organisation im Vorfeld mit einbezogen werden. Weiterhin ist es hilfreich, wenn die jeweiligen Schritte transparent sind und visualisiert werden.

Bei Migros, einem der größten Handelsunternehmen der Schweiz, wurde beispielsweise die klassische Projektorganisation zu einer agilen Produktorganisation weiterentwickelt. Dieser Prozess wurde mit Transparenz und Visibilität unterstützt – beispielsweise kann das durch (Kanban) Boards geschehen. Interessanterweise wurden dadurch viele Problemfelder sichtbar, die vorher verborgen blieben. Wichtig ist, diesen Punkt angemessen zu interpretieren:

“Ein Phänomen, von dem Migros überrascht wurde, war die plötzliche Vielfalt von Problemen in der Organisation. Das Team wurde das Gefühl nicht los, dass die meisten dieser Probleme schon immer da waren – aber irgendwie niemanden gestört hatten. Durch die gewonnene Transparenz wurden jetzt Dinge sichtbar, die zuvor verborgen waren. Wichtig war hier, verständlich zu machen, dass diese Problemfelder nicht durch den Systemwechsel entstanden waren, sondern erst durch ihn sichtbar wurden. Die Organisation musste lernen, damit umzugehen und die zutage geförderten Fragestellungen als Grundlage und Katalysator für die nächsten Schritte zu nutzen. Sie wurden dann zur »Burning Platform« für die nächsten Phasen” (Hüsselmann 2024).

Den Hinweis darauf, dass die nun sichtbaren Problemfelder nicht durch den Systemwechsel entstanden sind, halte ich für wichtig. Siehe dazu beispielsweise Agil – Traditionell: Veränderung der Anpassungsfähigkeit und des Risikos in Projekten.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.