Test Criteria Catalogue for AI Systems in Finance

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Der Finanzbereich mit seinen unglaublichen Mengen an Daten (historische Daten und Echtzeitdaten) ist prädestiniert für den Einsatz Künstlicher Intelligenz (KI, oder englisch AI: Artificial Intelligence). Die Nutzung von LLM (Large Language Models) ,oder in Zukunft Small Language Models (SLM) und KI-Agenten, kann für eine Gesellschaft positiv, oder eher negativ genutzt werden. Dabei können Open Source AI Models, Open Weights Models und Closed AI Models unterschieden werden.

Es ist aus meiner Sicht gut, dass die Europäische Union mit dem EUAI-Act weltweit erste Rahmenbedingungen für die Nutzung Künstlicher Intelligenz festgelegt hat. Im Vergleich zu dem US-amerikanischen vorgehen (KI-Unternehmen können alles machen, um Profite zu generieren) und dem chinesischen Vorgehen (KI für die Unterstützung der Partei), ist der Europäische Weg eine gute Mischung. Natürlich muss dabei immer abgewogen werden, welcher Freiraum für Innovationen bleiben sollte.

Um nun herauszufinden, wie KI-Ssteme z.B. für den Finanzbereich bewertet und letztendlich ausgewählt werden sollten, hat das Federal Office for Information Security (Deutsch: BSI) einen entsprechenden Kriterienkatalog veröffentlicht:

Publication Notes
Given the international relevance of trustworthy AI in the financial sector and the widespread applicability ofthe EUAIAct across memberstates and beyond,this publication was prepared in English to ensure broader accessibility and facilitate collaboration with international stakeholders. English serves as the standard language in technical, regulatory, and academic discourse on AI, making it the most appropriate choice for addressing a diverse audience, including researchers, industry professionals, and policymakers across Europe and globally” (Federal Office for Information Security 2025).

Es stellt sich dabei auch die Frage, ob diese Kriterien nur für den Finanzbereich geeignet sind, oder ob alle – oder einige – der Kriterien auch für andere gesellschaftlichen Bereiche wichtig sein könnten.

Siehe dazu auch Sou.veränitätsscore für KI-Systeme.

Künstliche Intelligenz: Vorteile von Small Language Models (SLMs)

Aktuell bekannte KI-Anwendungen rühmen sich seit Jahren, sehr große Mengen an Trainingsdaten (Large Language Models) zu verarbeiten. Der Tenor war und ist oft noch: Je größer die Trainingsdatenbank, um so besser.

In der Zwischenzeit weiß man allerdings, dass das so nicht stimmt und Large Language Models (LLMs) durchaus auch Nachteile haben. Beispielsweise ist die Genauigkeit der Daten ein Problem – immerhin sind die Daten oft ausschließlich aus dem Internet. Daten von Unternehmen und private Daten sind fast gar nicht verfügbar. Weiterhin ist das Halluzinieren ein Problem. Dabei sind die Antworten scheinbar plausibel, stimmen aber nicht.

Muddu Sudhaker hat diese Punkte in seinem Artikel noch einmal aufgeführt. Dabei kommt er zu dem Schluss, dass es in Zukunft immer mehr darauf ankommen wird, kleinere, speziellere Trainingsdatenbanken zu nutzen – eben Small Language Models (SLMs).

Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK

Große Vorteile der SLMs sieht der Autor natürlich einmal in der Genauigkeit der Daten und damit in den besseren Ergebnissen. Weiterhin sind SLMs natürlich auch kostensparender. Einerseits sind die Entwicklungskosten geringer, andererseits benötigt man keine aufwendige Hardware, um SLMs zu betreiben. Teilweise können solche Modelle auf dem eigenen PC, oder auf dem Smartphone betrieben werden.

Solche Argumente sind natürlich gerade für Kleine und Mittlere Unternehmen (KMU) interessant, die mit den geeigneten SLMs und ihren eigen, unternehmensinternen Daten ein interessantes und kostengünstiges KI-System aufbauen können.

Voraussetzung dafür ist für mich, dass alle Daten auf den eigenen Servern bleiben, was aktuell nur mit Open Source AI möglich ist. OpenAI mit ChatGPT ist KEIN Open Source AI.

Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?

Image by AIAC Interactive Agency from Pixabay

Das Bild zeigt ein Glas mit einer Flüssigkeit. Es ist allerdings nicht genau zu erkennen, um welchen Inhalt es sich handelt. Es könnte also sein, dass die Flüssigkeit gut für Ihre Gesundheit ist, oder auch nicht. Vertrauen Sie dieser Situation? Vertrauen Sie demjenigen, der das Glas so hingestellt hat?

Würden Sie aus diesem Glas trinken?

So ähnlich ist die Situation bei Künstlicher Intelligenz. Die Tech-Unternehmen veröffentlichen eine KI-Anwendung nach der anderen. Privatpersonen, Unternehmen, ja ganze Verwaltungen nutzen diese KI-Apps als Black Box, ohne z.B. zu wissen, wie die Daten in den Large Language Models (LLM) zusammengetragen wurden – um nur einen Punkt zu nennen.

Der Vergleich von dem Glas mit Künstlicher Intelligenz hinkt zwar etwas, doch erscheint mir die Analogie durchaus bemerkenswert, da der erste Schritt zur Anwendung von Künstlicher Intelligenz Vertrauen sein sollte.

Step 1: It All Starts with Trust
“Think about it: the glass is opaque, you can’t even see inside it! The water inside that glass could pure spring water, but it could also be cloudy and murky puddle water, or even contaminated water! If you couldn’t see inside that glass, would you still drink what’s inside it after adding tons of high-quality sugar and lemon to it? Probably not, so why would you do this with one of your company’s most previous assets—your data?” (Thomas et al. 2025).

Vertrauen Sie der Art von Künstlicher Intelligenz, wie sie von den etablierten Tech-Giganten angeboten wird? Solche Closed Source Modelle sind nicht wirklich transparent, und wollen es auch weiterhin nicht sein. Siehe dazu auch Das Kontinuum zwischen Closed Source AI und Open Source AI.

Vertrauen Sie besser wirklichen Open Source AI – Anwendungen: Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

All Our Ideas: Künstliche Intelligenz, Online-Umfragen und Crowdsourcing kombinieren

Quelle: https://all-our-ideas.citizens.is/domain/1/

Aktuell wird alles mit Künstlicher Intelligenz (AI: Artificial Intelligence) in Verbindung gebracht. Die Neukombination von bestehenden Ansätzen kann dabei zu interessanten Innovationen führen.

Die Website ALL Our Ideas verbindet beispielsweise Online-Umfragen mit Crowdsourcing und Künstlicher Intelligenz.

“All Our Ideas is an innovative tool that you can use for large-scale online engagements to produce a rank-ordered list of public input. This “Wiki Survey” tool combines the best of survey research with crowdsourcing and artificial intelligence to enable rapid feedback” (ebd.).

Ein kurzes Tutorial ist gleich auf der Website zu finden. Darin wird erläutert, wie Sie die Möglichkeiten selbst nutzen können. Starten Sie einfach mit einer eigenen Online-Umfrage.

Die Idee und das Konzept finde ich gut, da auch der Code frei verfügbar ist: Open Source Code. Damit kann alles auf dem eigenen Server installiert werden. Bei der Integration von KI-Modellen schlage ich natürlich vor, Open Source KI (Open Source AI) zu nutzen.

Innovationen: Das Europäische Paradox

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Wenn es um Innovationen geht, sind wir in Deutschland und in der EU immer sehr bemüht zu betonen, was alles dafür getan wird, dass wir in diesem Bereich führend sein wollen – aber nicht sind. Denn: Alle aktuell wichtigen Innovationen kommen nicht aus Deutschland, bzw. der EU. Wenn dem nicht so wäre, wären wir beispielsweise bei der Digitalisierung nicht so abhängig von den Tech-Konzernen aus den USA.

Obwohl wir in Deutschland (in der EU) sehr viel Geld in die Förderung von Forschung & Entwicklung stecken, und auch unser Bildungssystem, sowie die gesamte Infrastruktur gut sind, sieht es bei den wichtigen Innovationen eher schlecht aus. Wir bekommen die guten Ansätze nicht wirklich umgesetzt – doch genau das macht Innovationen aus. Die Europäische Kommission hat diese Situation 1995 schon als Europäisches Paradox bezeichnet.

“In 1995, the European Commission firstly used the term ‘European Paradox’ (European Commission 1995) to define the phenomenon of having good higher education systems, well established research infrastructure but failing to translate this into markable innovations. (…) Additionally, the EU in comparison to the USA was unable to compete although education, research and science were very well established in the EU.”

Quelle: Banholzer, Volker M. (2022). From „Industry 4.0“ to „Society 5.0“ and „Industry 5.0“: Value- and Mission-Oriented Policies: Technological and Social Innovations – Aspects of Systemic Transformation. IKOM WP Vol. 3, No. 2/2022. Nürnberg: Technische Hochschule Nürnberg Georg Simon Ohm).

Interessant dabei ist, dass sich scheinbar in den letzten 30 Jahren (1995-2025) nicht viel verbessert hat. Möglicherweise ist die Schere bei den wichtigsten aktuellen Innovationsbereichen sogar noch größer geworden. Wie kommt das?

Verstehen wir Innovation immer noch falsch?

Messen wir die falschen Parameter?

Haben wir gerade in Deutschland mehr Innovationspreise als wirkliche Innovationen?

Anmerkung: Das Bild zum Blogbeitrag habe ich nur beispielhaft ausgewählt. Es geht mir bei hier nicht nur um die Situation bei der Künstlichen Intelligenz..

Warum wird GESCHÄFTSMODELL + AI nicht ausreichen?

Organisationen und Privatpersonen befassen sich mit Künstlicher Intelligenz (GenAI) und sind fasziniert von den Möglichkeiten. Dabei setzen fast alle Organisationen auf die Formel

GESCHÄFTSMODELL +AI

Gut zu erkennen ist das beispielsweise in dem Beitrag Künstliche Intelligenz beeinflusst den gesamten Lebenszyklus der Software-Entwicklung. Man geht von dem üblichen Softwareentwicklungsprozess aus und überlegt, wie Künstliche Intelligenz in den einzelnen Schritten (einzelnen Tasks) genutzt werden kann. Ähnlich ist es im Projektmanagement, z.B. nach DIN 69901 mit den vorgeschlagenen Minimum-Prozessen usw. usw. In dem Zusammenhang habe ich folgenden Text gefunden:

“(…) if you’re content to sit on your +AI mindset, things aren’t going to go well for your business (or you personally) because you will lack the agility and capability that come with the next generation of AI” (Thomas et al. 2025).

In Zukunft bietet Künstliche Intelligenz, und hier meine ich speziell auch Agentic AI (KI-Agenten), ganz neue, andere Möglichkeiten. Wir sollten daher mittel- und langfristig von einem anderen Ansatz (Mindset) ausgehen:

AI+

Dieser Blick sollte sich von den bestehenden Geschäftsmodellen lösen, und von den (neuen) Möglichkeiten der KI ausgehen. Das ist dann nicht mehr evolutionär, sondern eher disruptiv und wird ganze Bereiche verändern.

Mein Vorschlag ist es hier, nicht auf Closed Source AI oder Open Weighted AI, sondern auf Open Source AI zu setzen – auch bei Agentic AI. Siehe dazu auch Das Kontinuum zwischen Closed Source AI und Open Source AI.

Von GenAI zu Agentic AI bedeutet, eine andere Perspektive einzunehmen, und andere Kompetenzen zu entwickeln

WEF (2024): Navigating the AI Frontier. A Primer on the Evolution and Impact of AI Agents

Alle reden und schreiben über KI (Künstliche Intelligenz / AI: Artificial Intelligence) und meinen damit meistens GenAI. Bei den verschiedenen KI-Anwendungen geht es mehrheitlich darum, Abläufe mit ihren verschiedenen Tasks zu unterstützen. Siehe dazu beispielsweise Künstliche Intelligenz beeinflusst den gesamten Lebenszyklus der Software-Entwicklung. Ähnliches findet man auch bei anderen Branchen wie z.B. der Kommunikationsbranche usw.

Diese vielfältigen Möglichkeiten faszinieren Menschen und Organisationen so sehr, dass sie das auch bei den entsprechenden Kompetenzentwicklungen als einen der Schwerpunkte sehen. Hervorheben möchte ich hier beispielsweise das oft erwähnte Prompt-Engineering.

Betrachten wir allerdings neuere KI-Entwicklungen, so wird immer deutlicher, dass es in der nahen Zukunft immer mehr darum gehen wird, mit KI-Agenten (Agentic AI) umzugehen. Dabei verändern sich allerdings die Perspektiven auf die Nutzung von KI grundlegend. Der folgende Absatz zeigt das deutlich auf:

“Quite simply, today, most people use AI in a task-oriented workflow (for example, to finish a code stub or summarize a document), whereas agents are goal oriented. You give an AI agent a task, and it will get it done and even plan future actions without needing your explicit guidance or intervention. Working with agents requires a change in perspective: instead of designing an AI driven app to run some specific tasks, you use an agentic approach that focuses on outcomes and objectives. An agent will try to achieve a desired outcome and will figure out on its own which tasks are necessary” (Thomas, R.; Zikopoulos, P.; Soule, K. 2025).

Die in dem Zusammenhang mit KI thematisierten Kompetenzen waren und sind immer noch zu sehr auf den “task-oriented workflow” ausgerichtet. Dabei benötigen wird bei der eher “goal oriented”, also ergebnisorientierten (zielorientierten) Herangehensweise, andere Kompetenzen.

Ich bin gespannt, wie die vielen KI-Kompetenzmodelle diese Entwicklungen abfangen werden. Denn: Kaum ist das eher task-oriented Kompetenzmodell veröffentlicht, muss schon nachgebessert werden. In der Logik dieser Kompetenzmodelle wird es wohl bald eine Weiterentwicklung geben, die in Zukunft “AI Agentic” – Kompetenzen in den Mittelpunkt stellt, usw. usw. Ob das für Menschen und Organisationen einen guten (stabilen) Rahmen für ein modernes Kompetenzmanagement bietet?

Wie Sie als Leser meines Blogs wissen, stehe ich diesen KI-Kompetenzmodellen etwas kritisch gegenüber, da sie zu “Bindestrich”-Kompetenzen (Digitale Kompetenzen, Agile Kompetenzen, KI-Kompetenzen) führen, die sich in großen Teilen verändern müssen. Meines Erachtens ist es besser, allgemein von Kompetenzen von Selbstorganisationsdispositionen zu sprechen – und zwar auf den Ebenen Individuum, Gruppe, Organisation und Netzwerk – natürlich auch unter dem Aspekt der Nutzung von KI. Siehe dazu Kompetenzmanagement.

Experteninterview zu ‘Künstliche Intelligenz im Projektmanagement’ gegeben

Vor einiger Zeit wurde ich wegen einem Experteninterview zum Thema Künstliche Intelligenz im Projektmanagement angefragt. Das Interview sollte Bestandteil einer Masterarbeit zum Thema sein. Nachdem ich mir die Anfrage genauer angesehen hatte, habe ich dem Interview zugestimmt.

Im Vorfeld musste ich (natürlich) eine Datenschutzerklärung ausfüllen und bestätigen, dass das Interview aufgenommen und transkribiert wird.

Am Montag, den 26.05.2025, fand dann das Interview online statt. In ca. 60 Minuten habe ich Fragen zum Thema beantwortet, und meine Einschätzung zu zukünftigen Entwicklungen gegeben. Ein Schwerpunkt der Befragung war die erforderliche Kompetenzentwicklung bei der Nutzung von Künstlicher Intelligenz.

Da mir im Rahmen meiner wissenschaftlichen Arbeiten auch immer wieder geholfen wurde, ist es für mich selbstverständlich, Interview-Anfragen, soweit es zeitlich geht, anzunehmen.

Künstliche Intelligenz – Menschliche Kompetenzen: Anmerkungen zu möglichen Kategorienfehler

Die aktuelle Diskussion um Künstliche Intelligenz wird einerseits technisch geführt, andererseits geht es dabei auch um Menschliche Kompetenzen. Alleine diese Gegenüberstellung von “Intelligenz” hier und “Kompetenz” dort wirft schon Fragen auf:

(1) Ist der Begriff “Künstliche Intelligenz” schon ein Kategorienfehler?

Zunächst soll es um den etablierten Begriff “Künstliche Intelligenz” gehen, der durchaus kritisch hinterfragt werden kann. Genau das hat Beispielsweise der Meister der Systemtheorie, Niklas Luhmann, getan:

“Der Soziologe Niklas Luhmann beschreibt dies treffend als Kategorienfehler (Luhmann & Schorr, 1982) – ein grundlegender Unterschied zwischen maschineller Informationsverarbeitung und menschlichen Qualitäten. Maschinen können zwar Daten präzise und schnell verarbeiten, doch echte Kreativität, Sinnverständnis und emotionale Reflexion bleiben ihnen verschlossen” (Ehlers 2025, in weiter bilden 1/2025).

Jetzt kann man natürlich anmerken, dass sich diese Argumentation auf die damaligen IT-Systeme bezog, die heutigen KI-Systeme allerdings doch anders sind. Diese Perspektive ist durchaus berechtigt, doch ist an der Argumentation Luhmanns immer noch etwas dran, wenn wir die heutigen KI-Systeme betrachten.

(2) Ist der Vergleich zwischen Künstlicher Intelligenz und Menschlicher Intelligenz etwa auch ein Kategorienfehler?

Interessant ist hier, dass es den Hinweis auf einen Kategorienfehler auch aus der Intelligenzforschung gibt. Siehe dazu ausführlicher OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler? Wenn wir also mit Intelligenz das meinen, was ein Intelligenztest misst, sieht es für den Menschen schon jetzt ziemlich schlecht aus.

Wenn wir allerdings Intelligenz entgrenzen und eher den Ansatz von Howard Gardner sehen, der von Multiplen Intelligenzen ausgeht, wird es schon etwas spannender, denn nach Howard Gardner ist Intelligenz u.a. ein biopsychologisches Potenzial:

„Ich verstehe eine Intelligenz als biopsychologisches Potenzial zur Verarbeitung von Informationen, das in einem kulturellen Umfeld aktiviert werden kann, um Probleme zu lösen oder geistige oder materielle Güter zu schaffen, die in einer Kultur hohe Wertschätzung genießen“ (Gardner  2002:46-47).

Insofern wäre dann der Vergliche zwischen Künstlicher Intelligenz und Multiplen Intelligenzen ein Kategorienfehler. Siehe dazu auch Künstliche Intelligenz – ein Kategorienfehler? Darin wird auch auf die sozialen und emotionalen Dimensionen bei Menschen hingewiesen.

(3) Ist der Vergleich zwischen Künstlicher Intelligenz und Menschlichen Kompetenzen ein Kategorienfehler?

Wenn wir Künstliche Intelligenz mit Menschlichen Kompetenzen vergleichen, vergleichen wir auch indirekt die beiden Konstrukte “Intelligenz” und “Kompetenz. In dem Beitrag Kompetenzen, Regeln, Intelligenz, Werte und Normen – Wie passt das alles zusammen? finden Sie dazu ausführlichere Anmerkungen.

Das AIComp-Kompetenzmodell, bei dem nicht die Abgrenzung zwischen den Möglichkeiten der Künstlichen Intelligenz und den Menschlichen Kompetenzen steht, sondern die “produktive Kooperationskultur” (ebd.). Eine Kooperationskultur zwischen Intelligenz und Kompetenz?

Wenn das alles nicht schon verwirrend genug ist, schreiben mehrere Autoren in dem Gesamtzusammenhang auch noch von Menschlichen Qualitäten oder Skills (Future Skills). Letzteres unterstellt eine eher amerikanische Perspektive auf Kompetenzen.

“Frühere Kompetenzdefinitionen beziehen sich auf die im anglo-amerikanischen Raum gebräuchliche Unterscheidung individueller Leistunsgsdispositionen in Knowledge, Skills, Abilities and Other Characteristics (KSAO), wobei modernere Definitionen auch eher die Selbstorganisationsdisposition in den Vordergrund stellen” (Freund 2011).

Sollten wir daher lieber von Künstlichen Kompetenzen und Menschlichen Kompetenzen auf den Analyseebenen Individuum, Gruppe, Organisation und Netzwerk sprechen, und diese dann vergleichen?

Siehe dazu auch Freund, R. (2011): Das Konzept der Multiplen Kompetenzen auf den Ebenen Individuum, Gruppe, Organisation und Netzwerk.

Digitale Souveränität: Souveränitätsscore für KI Systeme

Souveränitätsscore für KI-Systeme – Ausschnitt (Quelle: https://digital-sovereignty.net/score/score-ai)

In der Zwischenzeit sind sehr viele KI-Modelle (AI Model) verfügbar, sodass es manchmal zu etwas unscharfen Beschreibungen kommt. Eine erste Unterscheidung ist, Closed Source AI, Open Weights AI und Open Source AI nicht zu verwechseln. In dem Beitrag AI Kontinuum wird das erläutert.

“OpenAI” wurde beispielsweise als Muttergesellschaft von ChatGPT 2015 als gemeinnützige Organisation gegründet, seit 2019 ist “OpenAI” gewinnorientiert und wird von Microsoft dominiert. Durch geschicktes Marketing wird oftmals suggeriert, dass von kommerziellen Anbietern bereitgestellte Modelle “Open Source AI” sind.

Dabei stellt sich natürlich gleich die Frage, nach einer entsprechenden Definition, die es auch seit 2024 gibt: Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht.

Wenn Sie sich also für AI Modelle interessieren, können Sie dieses Modell gegenüber den in der Definition genannten Kriterien prüfen.

Weiterhin können Sie den Souveränitätsscore für KI Systeme von Prof. Wehner nutzen (Abbildung). Schauen Sie sich auf der Website auch noch weiter um – es lohnt sich.