Veröffentlicht am

Aktuelle Studie der ETH Zürich: Kein populäres LLM entspricht den EU AI Act – Anforderungen

Künstliche Intelligenz mit seinen vielfältigen Möglichkeiten wird immer populärer. Die Europäische Union hat daher schon 2023 versucht, die Entwicklung so zu regulieren, dass einerseits (persönliche und organisationale) Rechte garantiert bleiben und anderseits, die Entwicklung von Innovationen nicht unnötig gebremst wird. Siehe dazu ausführlicher: EU AI Act: first regulation on artificial intelligence.

Natürlich stellt sich dabei sofort die Frage, ob die populären KI-Anwendungen mit ihren verwendeten Large Language Models (LLMs) diesen Anforderungen gerecht werden. In einer umfassenden Studie wurde das an der ETH Zürich nun untersucht, und am 10. Oktober 2024 veröffentlicht. Das Ergebnis ist ernüchternd;

“Finally, we applied our benchmarking suite to evaluate 12 popular LLMs, identifying that both current models and state-of-the-art benchmarks exhibit critical shortcomings in the context of the Act. In particular, none of the examined models are fully compliant with the requirements of the EU AI Act, and certain technical requirements cannot be currently assessed with the available set of tools and benchmarks, either due to a lack of understanding of relevant model aspects (e.g., explainability), or due to inadequacies in current benchmarks (e.g., privacy)” (Guldimann et al. (2024): COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act | PDF).

Ich bin sehr gespannt, was nun passiert, oder auch nicht passiert. Wird sich die EU mit ihren Anforderungen an KI-Anwendungen stärker durchsetzen, oder wird die Lobbyarbeit der verschiedenen Anbieter die Vorgaben mit der Zeit “aufweichen”. Möglicherweise gibt es auch einen dritten Weg: Open Source LLM erfüllt die Anforderungen und ist so leistungsfähig, wie die oftmals kommerziellen Angebote. Warum eigentlich nicht?

Veröffentlicht am

Fraunhofer Magazin 3/2024: Immer wieder spannend

Das Fraunhofer Magazin ist immer interessant und spannend, da es viele aktuelle und innovative Themen darstellt. Gerade der Anwendungsbezug ist beim Fraunhofer Institut ein besonderer Schwerpunkt. Besonders gefallen hat mir im Fraunhofer Magazin 3-24 (PDF) diesmal der Hinweis auf Aikido, einer KI-gestützten App zu Optimierung von Verwaltungsprozessen.

“Die Wissenschaftlerinnen und Wissenschaftler haben die Service-Plattform Aikido entwickelt: eine KI-basierte Software, die Geschäftsdokumente wie Briefe und Rechnungen binnen weniger Sekunden analysiert, wichtige Informationen extrahiert und anschließend strukturiert. Auch wesentlich komplexere Dokumente wie etwa Gesetzestexte, medizinische Fachartikel oder Gutachten von Versicherungen sind für Aikido kein Problem” (ebd. S. 6).

Halten Sie sich auch auf dem Laufenden und abonnieren Sie das Fraunhofer Magazin. Die Gegenwart und die Zukunft sind spannend.

Veröffentlicht am

Hybridisierung von Kompetenzen als zentrale Herausforderung

In vielen Blogbeiträgen haben wir erläutert, wie wichtig der Begriff “Kompetenz” in einem turbulenten und komplexen Umfeld ist. Es ist für Organisationen daher wichtig, ihr Kompetenzmanagement auf den Ebenen Individuum, Gruppe, Organisation und Netzwerk zu entwickeln. Hinzu kommen heute und in Zukunft noch die Anforderungen zur Nutzung von Künstlicher Intelligenz, die auch entsprechende Kompetenzen erfordern.

Je nachdem welche Historie ein Unternehmen hat, wird es daher entweder die KI-Dominanz oder auf der anderen Seite eher die menschliche Dominanz bei der Frage nach geeigneten Kompetenzen favorisieren. Wenn wir uns beide Extreme als Pole vorstellen wird klar, dass es dazwischen sehr viele Zwischenzustände gibt, bei denen technische (KI) und menschliche Kompetenzen zusammenwirken sollten. Eine solche Betrachtungsweise kann auch als Hybrides Kompetenzmanagement bezeichnet werden, das ein Kontinuum an Möglichkeiten bietet. Der folgende Text bezieht sich darauf, wie das im Rahmen von Künstlicher Intelligenz im Projektmanagement aussehen kann.

“Eine zentrale Herausforderung besteht darin, dass wir es mit einer Hybridisierung von Kompetenzen zu tun haben. Dieser Begriff bezieht sich auf die Verflechtung von technisch orientierten und menschlich orientierten Fähigkeiten. Im Kontext von KI bedeutet das, dass Mitarbeiter nicht nur technische Kenntnisse in Bereichen wie Datenanalyse oder KI-Programmierung haben müssen, sondern auch menschliche Kompetenzen, wie z. B. Kreativität, kritisches Denken oder zwischenmenschliche Fähigkeiten, um effektiv mit KI-Systemen zu interagieren und zu arbeiten. Darüber hinaus beinhaltet ein zukunftsweisendes Kompetenzmodell die Berücksichtigung von transversalen Kompetenzen. Transversale Kompetenzen sind solche, die über verschiedene Aufgabenbereiche und Themenfelder hinweg relevant sind. Sie sind nicht auf einen spezifischen Kontext beschränkt, sondern übertragen sich auf eine Vielzahl von Situationen und Herausforderungen. Dies könnte Kommunikation, Problemlösung oder strategisches Denken beinhalten” (Reinhardt, K.; Feseker, M. 2024).

Die Autoren haben ein entsprechendes Kompetenzmodell entwickelt, auf das ich in den nächsten Blogbeiträgen eingehen werde. Man kann allerdings hier schon erkennen, dass sich diese Betrachtung von hybriden Kompetenzen im Projektmanagement von den üblichen Kompetenzrahen wie der Individual Competence Baseline (ICB 4.0) unterscheidet.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Jugaad: Eine indische Variante von Improvisation und Innovation

Image by Luca from Pixabay

Wir denken oft noch in den traditionellen Pfaden einer Welt, die sich allerdings turbulent wandelt. Traditionell gehen wir in vielen Bereichen unserer Gesellschaft davon aus, dass sich Infrastruktur, Energienetze, Kommunikationsnetze, Mobilitätsnetze, Soziale Netze usw. nur verwirklichen lassen, wenn die Politik und das ganz große Kapital solche Projekte umsetzen. Ein Beispiel auf globaler Ebene dafür ist die chinesische Belt and Road Initiative.

In Europa haben wir ähnliche Denkmuster (Top Down) entwickelt und verspielen möglicherweise die vielen Möglichkeiten von kleinen, persönlichen Verbesserungen und Innovationen (Bottom Up). Bezeichnend dafür ist, dass solche User Innovation gar nicht in den offiziellen Statistiken zu Innovationen auftauchen. Doch wie Eric von Hippel in vielen Studien aufgezeigt hat, gibt es diese Art von Verbesserungen und Innovationen in der Realität, im wirklichen Leben der Menschen. Siehe dazu beispielweise Eric von Hippel (2017): Free Innovation und Worin unterscheiden sich Business Innovation (formale Innovation) von Household Innovation (informelle Innovation)?

In einem anderen Kulturkreis, in Indien, wird die Improvisation im Alltäglichen als Jugaad bezeichnet. Dazu habe ich in einem aktuellen Artikel folgendes gefunden:

“Kaur (2016) informs that jugaad, a Punjabi word, popular across northern India, is a variation of the Hindi word jugat, itself derived from Sanskrit yukti, with roots in yog meaning union or joint. (…)

Jugaad is not limited to engagement of material infrastructure. It sits within the realm of the socio-cultural, with jugaadu people (improvisers) drawing on social, cultural, political and material resources to bend and twist unfavourable alignments into somewhat favourable ones. In many ways then, jugaad epitomises infrastructure: the subterranean, in the background and under the radar. (…)

Prabhu and Jain (2015), using several Indian examples like solar lighting solutions argue that jugaad leads to frugal, flexible and inclusive elements in ‘innovations’. They translate jugaad as frugal innovation. Radjou et al. (2012) frame this as jugaad Innovation.

Within the idea of jugaad, ‘formality/informality and legality/illegality work together’ (Narayanan, 2019, p. 13).”

Kumar, A. (2024): Jugaad Infrastructure: Minor infrastructure and the messy aesthetics of everyday life.

Der Autor verweist darauf, dass der Begriff “Jugaad Innovation” eher aus den einschlägigen Business Schools stammt, und wohl eher nicht den Kern von Jugaad im kulturellen Kontext beschreibt. Das ist deshalb interessant, da in den Erläuterungen zu Jugaad auf Wikipedia gerade der Bezug zu frugalen Innovationen und zu einer Art Managementtechnik hergestellt wird. Trifft der Wkipedia-Artikel hier möglicherweise nicht den Kern von Jugaad?

Dennoch kann ich mir vorstellen, dass aus Improvisation auch Innovationen entstehen können. Wichtig ist für beide, den Wert (Added Value) für den Nutzer in den Mittelpunkt zu stellen. Was wäre, wenn alle Menschen ihre alltäglichen (intelligenten) Problemlösungen anderen Menschen kostenfrei zur Verfügung stellen würden? Über die vielen Open-Source – und Open-Content – Initiativen wird das ja durchaus schon gemacht.

Künstliche Intelligenz kann jetzt darüber hinaus auch Treiber für Open User Innovation sein. Siehe dazu auch Frugale, soziale, technische und nicht-technische Innovationen und Frugale Innovationen: Ergebnisse einer europäischen Studie.

Veröffentlicht am

Business Agility und Organizational Agility

Top view of multiracial young creative people in modern office. Group of young business people are working together with laptop, tablet, smart phone, notebook. Successful hipster team in coworking. Freelancers.

Es ist in der Zwischenzeit unstrittig, dass sich Organisationen an das veränderte Umfeld dynamisch anpassen müssen. Wenn es um Strukturen, Prozesse und Technologien geht, wird das oft als Business Agility bezeichnet.

Eine Organizational Agility oder Systemic Agility geht darüber hinaus. Hier steht “(…) ein menschenzentrierter Ansatz im Mittelpunkt, der die Selbstorganisation der Mitarbeitenden und Teams fördert” (Tuczek et al. 2024, in projektmanagementaktuell 04/2024).

“Das Wachstum der Organisation basiert auf dem Wachstum der Individuen in der Organisation und der Entwicklung einer „Kollektiven Intelligenz“. Zukünftig wird auch die Künstliche Intelligenz Teil dieser Collective Intelligence werden und neue Potenziale eröffnen” (Tuczek et al. 2024, in projektmanagementaktuell 04/2024).

Interessant ist hier der Hinweis auf die Selbstorganisation der Mitarbeitenden und Teams, die aus meiner Sicht noch auf die Ebenen Organisation und Netzwerk erweitert werden müsste. Weiterhin wird der Begriff der “Kollektive Intelligenz” in diesem Zusammenhang verwendet, allerdings ohne zu erwähnen, was darunter gerade im Zusammenspiel zwischen einer Menschlichen Intelligenz und einer Künstlicher Intelligenz gemeint ist.

In meiner Veröffentlichung Freund, R. (2011): Das Konzept der Multiplen Kompetenz auf den Analyseebenen Individuum, Gruppe, Organisation und Netzwerk bin ich solchen Fragen auf Basis der Multiple Intelligenzen Theorie nachgegangen.

Siehe dazu auch Freund, R. (2016): Cognitive Computing and Managing Complexity in Open Innovation Model. Bellemare, J., Carrier, S., Piller, F. T. (Eds.): Managing Complexity. Proceedings of the 8th World Conference on Mass Customization, Personalization, and Co-Creation (MCPC 2015), Montreal, Canada, October 20th-22th, 2015, pp. 249-262 | Springer

Veröffentlicht am

OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler?

Lott, M. (2024): Massive breakthrough in AI intelligence: OpenAI passes IQ 120

Wenn wir von Intelligenz sprechen geht es oft um den Intelligenz-Quotienten (IQ) bei Menschen, dessen Ergebnisse in einer Normalverteilung dargestellt werden. Der Wert für den IQ kann dabei aus unterschiedlichen Testverfahren bestimmt werden. Der Mensa Norway IQ-Test ist dafür ein Beispiel.

Maxim Lott hat die dort gestellten Fragen von verschiedenen KI-Anwendungen beantworten lassen. Das Ergebnis ist in der Abbildung zusehen. Das neu vorgestellte Modell “o1” von OpenAI schneidet hier mit 120 Punkten am besten ab. Was bedeutet das?

Da in den IQ-Tests oftmals eher logisch-mathematische Attribute abgefragt werden, ist das Ergebnis wenig überraschend. Es stellt sich aus meiner Sicht eher die Frage, ob der Intelligenz-Quotient (IQ) mit seinen in den letzten über 100 Jahren entwickelten Messverfahren geeignet ist, menschliche Intelligenz abzubilden.

Wird das Verständnis von Intelligenz erweitert (entgrenzt), so kommen Dimensionen wie Emotionale Intelligenz, Soziale Intelligenz usw. hinzu, die von einer KI-App nicht, oder nur bedingt abgebildet werden können.

Aus meiner Sicht bedeutet das Ergebnis (Siehe Abbildung) also nicht, dass Künstliche Intelligenz genau so intelligent – oder intelligenter – als ein Mensch ist, sondern dass das zugrundeliegende Intelligenz-Konstrukt (IQ) möglicherweise nicht passt. In der von Howard Gardner vorgeschlagenen Theorie der Multiplen Intelligenzen ist Intelligenz beispielsweise wie folgt beschrieben:

„Ich verstehe eine Intelligenz als biopsychologisches Potenzial zur Verarbeitung von Informationen, das in einem kulturellen Umfeld aktiviert werden kann, um Probleme zu lösen oder geistige oder materielle Güter zu schaffen, die in einer Kultur hohe Wertschätzung genießen“ (Gardner 2002:46-47).

Der Hinweis auf ein “biopsychologisches Potenzial” deutet schon an, dass es für Howard Gardner bei dem Begriff “Intelligenz” für menschliche Intelligenz verwendet. Den Begriff “Künstliche Intelligenz” sieht Howard Gardner daher als Kategorienfehler. Siehe dazu auch Multiple Intelligenzen nach Howard Gardner: Ist eine Intelligenz der anderen überlegen?

Veröffentlicht am

Künstliche Intelligenz im Projektmanagement – eine Definition

Künstliche Intelligenz und die damit verfügbaren Anwendungen werden unsere Gesellschaft und unsere Arbeit beeinflussen und teilweise massiv verändern. Es ist daher sinnvoll, die Künstlicher Intelligenz in der jeweiligen beruflichen Domäne genauer zu beschreiben. Folgende “Definition” habe ich zu Künstlicher Intelligenz im Projektmanagement gefunden:

„Künstliche Intelligenz im Projektmanagement bezieht sich auf den Einsatz von Algorithmen und maschinellem Lernen, um Projekte effizienter zu planen, zu überwachen und zu steuern. Sie ermöglicht, aus vergangenen Projektverläufen und -daten zu lernen, Risiken frühzeitig zu erkennen, Ressourcen besser zu verteilen, Prozesse zu automatisieren und fundierte Entscheidungen zu treffen. KI kann dazu beitragen, die Produktivität zu steigern, die Qualität der Ergebnisse zu verbessern und Projekte erfolgreicher abzuschließen“ (Bialas, M. (2024), in Bernert et al. (Hrsg.) (2014): KI im Projektmanagement).

Diese Beschreibung ist sehr stark auf die klassischen, methodischen Elemente des Projektmanagements fokussiert, und stellt die durch den Einsatz von Künstlicher Intelligenz möglichen Effizienzvorteile heraus.

Aus meiner Sicht ist das etwas zu kurz gegriffen, da Künstliche Intelligenz durchaus auch soziale Dimensionen der Projektarbeit unterstützen kann. Siehe dazu auch

Mensch und Künstliche Intelligenz: Engineering bottlenecks und die fehlende Mitte

Projektmanagement: KI-Unterstützung der ICB 4.0 Kompetenzen

Projektmanagement-Office (PMO): Neue Aufgaben durch Künstliche Intelligenz (KI)

Menschliche Intelligenz und Künstliche Intelligenz: ein Idealszenario der Arbeitsteilung.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Veröffentlicht am

Künstliche Intelligenz: Warum sollten Forscher besser offene Large Language Models (LLM) nutzen?

Usage of large language models (LLMs) in behavioral and social sciences research (Wulff/Hussain/Mata 2024). Die Hervorhebung in Rot ist von mir (Robert Freund) ergänzt worden.

Natürlich verwenden immer mehr Wissenschaftler Künstlichen Intelligenz in ihrer Arbeit. Wie die Grafik zeigt, wird ChatGPT beispielsweise in den Verhaltens- und Sozialwissenschaften sehr stark genutzt. ChatGPT ist allerdings von OpenAI, dessen Large Language Model (LLM) als eher geschlossenes System (Closed LLM) bezeichnet werden kann, da das zugrundeliegende Datenmodell nicht transparent ist. Andere LLM – wie z.B. LLama – sind eher offen LLM (Open LLM), die gerade für Forschung und Wissenschaft geeigneter erscheinen.

In dem aktuellen Paper Wulff/Hussain/Mata (2024): The Behavioral and Social Sciences Need Open LLMs (PDF) argumentieren die Autoren dazu wie folgt:

“Academic research should prefer open LLMs because they offer several practical and ethical advantages that are essential for scientific progress.

First, open models provide the transparency necessary for thorough scrutiny, allowing researchers to understand better the tools they are using and ensuring accountability.

Second, this transparency, combined with the adaptability of open models, facilitates innovation by enabling researchers to customize models to meet specific needs and explore new applications (Wulff & Mata, 2024).

Third, open LLMs support reproducibility, a cornerstone of scientific research, by allowing other researchers to replicate and build upon existing work.

Finally, the ethical implications of AI usage are better managed with open models, as they enable greater scrutiny of AI decisions, arguably reduce the risks of deploying biased or unethical systems, and avoid giving away data to further train closed, proprietary models.”

Ich frage mich an dieser Stelle, ob solche Hinweise nicht auch für die Nutzung von Künstlicher Intelligenz in Unternehmen gelten sollten.

Siehe dazu auch Künstliche Intelligenz: Vorteile von Open-Source-Modellen

Veröffentlicht am

Top 100 Tools for Learning 2024

Quelle: Tools for Learning

Es ist nicht verwunderlich, dass immer mehr KI-Anwendungen in der Liste der 100 Tools for Learning auftauchen. ChatGPT ist vom 4. auf den 2. Platz vorgerückt und weitere KI-Copilots tauchen in der Liste auf, bzw. rücken auch in den Platzierung vor. Es sieht so aus, als ob immer mehr KI-Anwendungen für Lernprozesse genutzt werden.

Es ist daher für viele an der Zeit, sich mit den Möglichkeiten und Beschränkungen von KI-Anwendungen bei Lernprozessen zu befassen. Am besten geht das in Unternehmen natürlich im Prozess der Arbeit: Kompetenzentwicklung im Prozess der Arbeit.

Erwähnen möchte ich hier, dass mir in der Liste Open-Source-KI-Anwendungen fehlen oder zu kurz kommen. Viele der KI-Anwendungen sind von Microsoft und Google dominiert, auch wenn z.B. ChatGPT von OpenAI ist und suggeriert, dass die Anwendung “Open” ist. Siehe dazu Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co. und Künstliche Intelligenz: Vorteile von Open Source Modellen.

Veröffentlicht am

Vermindert der Einsatz Künstlicher Intelligenz menschliche Fähigkeiten?

Wenn wir ein Navigationssystem nutzen hilft uns das, schnell und bequem unser Ziel zu erreichen. Andererseits vermindert sich dadurch auch die menschliche Fähigkeit, sich zu orientieren. Die Nutzung eines Autos hilft uns, große Strecken zurückzulegen, doch vermindert es auch unsere körperlichen Fähigkeiten. Die Nutzung eines Computers erleichtert uns die Bearbeitung von Zahlenkolonnen, doch reduziert es auch unsere Rechen-Fähigkeiten. Die Nutzung von Suchmaschinen wie Google hat es uns erleichtert, Daten und Informationen schnell zu finden. Manche Fähigkeiten der Recherche und des Prüfens von Daten und Informationen bleiben hier manchmal wegen den schnellen Zyklen der Veränderungen auf der Strecke.

Warum sollten diese Effekte also bei der Nutzung von Künstlicher Intelligenz anders sein?

“Eine grundlegende Erkenntnis besagt, dass jedes technische Hilfsmittel die Fähigkeiten der Kombination «Mensch-Tool» zwar erhöht, jene des Menschen alleine aber potenziell vermindert (every augmentation is also an amputation, frei nach Marshall McLuhan)” (Digital Society Initiative 2023)

Im Kontext der universitären Bildung haben Forscher ermittelt, welche menschlichen Fähigkeiten in Zukunft in einem von KI dominierten Umfeld erhalten und gestärkt werden sollten (vgl. Digital Society Initiative 2023):

Grundlegende technische Fähigkeiten in Bezug auf KI-Technologien.

Sozialisationsfähigkeiten: Soziales Lernen, Einfühlungsvermögen, Resilienz und effektives
Teamwork gefördert werden. Dies bedingt auch ein Verständnis und eine Reflexion über ethische Werte und wissenschaftlichen Ethos.

Kritisches Denken: Kritische Diskurs, das Denken in Modellen und Abstraktionen sowie die Fähigkeit zur multiperspektivischen Kognition und Analyse.

Handeln unter Unsicherheit: Um mit der Geschwindigkeit des technischen Fortschritts (und auch den bekannten globalen Herausforderungen wie z.B. dem Klimawandel) umgehen zu können, sind Fähigkeiten zu fördern, welche das Handeln unter Unsicherheit erleichtern. Unter anderem zu nennen ist hier eine Schulung der Intuition und abstraktes Problemlösen.

Anmerken muss ich an dieser Stelle, dass persönliche Fähigkeiten nicht mit Persönlichkeitseigenschaften gleich gesetzt werden sollten. Siehe dazu auch Über den Umgang mit Ungewissheit. Es geht hier darum, dass gerade der Mensch als soziales und emotionales Wesen komplexe Problemlösungssituationen besser bewältigen kann, als es Technologie vermag. Wie ein Idealszenario der Arbeitsteilung zwischen menschlicher und künstlicher Intelligenz aussehen kann, lesen Sie in diesem Blogbeitrag.