Veröffentlicht am

MISSION KI: Wie vertrauenswürdig sind KI-Modelle?

Abstract structure and delineation of an AI system. Source: Fraunhofer IAIS Assessment Catalogue (2021) (MISSION AI 2025)

Es gibt Millionen von KI-Modellen bei denen manchmal nicht klar ist, ob man ihnen als Privatperson, als Unternehmen oder als Öffentliche Verwaltung trauen kann. Denn: It all starts with trust.

Image by Gerd Altmann from Pixabay

Wenn dem so ist, stellt sich natürlich gleich die Frage, wie Vertrauenswürdigkeit bei KI-Modellen eingeschätzt und bewertet werden kann.

Zunächst einmal muss so eine Vorgehensweise von neutralen Stellen und nicht von den Unternehmen selbst durchgeführt werden. Auch die Kriterien sollten natürlich transparent und offen sein.

Solche Initiativen gibt es seit einigen Jahren auf internationaler und nationaler Ebene. International befasst sich die IEEE 8000.1 Working Group mit der Vertrauenswürdigkeit von Künstlicher Intelligenz. In Deutschland ist es seit 2023 die MISSION AI, die ein entsprechendes Rahmenwerk entwickelt.

„It combines established approaches (VDE SPEC 90012, Fraunhofer IAIS Prüfkatalog, Joint Specification for Trustworthy AI Systems) into an integrated assessment framework“ (MISSION KI).

In der Veröffentlichung MISSION KI (2025) Quality Standard for Low-Risk AI (PDF) werden Vorgehensweise, Kriterien usw. auf mehr als 100 Seiten ausführlich erläutert.

Auf der internationalen Konferenz MCP 2026, 16.-19.09.2026, Balatonfüred, Ungarn gehe ich auf diese Zusammenhänge in zwei meiner Paper ein.

Veröffentlicht am

KI-Modelle: Monitoring einer Entwicklungsumgebung

Using watsonx.governance to build a dashboard and track a multimodel
deployment environment (Thomas et al. 2025)

In verschiedenen Beiträgen hatte ich beschrieben, was eine Organisation machen kann, um KI-Modelle sinnvoll einzusetzen. An dieser Stelle möchte ich nur einige wenige Punkte beispielhaft dazu aufzählen.

Zunächst können LLM (Large Language Models) oder SLM (Small Language Models) eingesetzt werden – Closed Sourced , Open Weighted oder Open Source. Weiterhin können KI-Modelle mit Hilfe eines AI-Routers sinnvoll kombiniert, bzw. mit Hilfe von InstructLab mit eigenen Daten trainiert werden. Hinzu kommen noch die KI-Agenten – aus meiner Sicht natürlich auch Open Source AI.

Das sind nur einige Beispiele dafür, dass eine Organisation aufpassen muss, dass die vielen Aktivitäten sinnvoll und wirtschaftlich bleiben. Doch: Wie können Sie das ganze KI-System verfolgen und verbessern? In der Abbildung sehen Sie ein Dashboard, dass den Stand eines KI-Frameworks abbildet. Die Autoren haben dafür IBM watsonx Governance genutzt.

„Our dashboard gives us a quick view of our environment. There are LLMs from OpenAI, IBM, Meta, and other models that are in a review state. In our example, we have five noncompliant models that need our attention. Other widgets define use cases, risk tiers, hosting locations (on premises or at a hyper scaler), departmental use (great idea for chargebacks), position in the approval lifecycle, and more“ (Thomas et al. 2025).

Die Entwicklungen im Bereich der Künstlichen Intelligenz sind vielversprechend und in ihrer Dynamik teilweise auch etwas unübersichtlich. Das geeignete KI-Framework zu finden, es zu entwickeln, zu tracken und zu verbessern wird in Zukunft eine wichtige Aufgabe sein.

Veröffentlicht am

Monitoringbericht Kultur- und Kreativwirtschaft 2017

Der Monitoringbericht Kultur- und Kreativwirtschaft 2017 (PDF, Kurzfassung) erläutert zunächst, was Kultur- und Kreativwirtschaft bedeutet (Seite 3):

„Unter Kultur- und Kreativwirtschaft werden diejenigen Kultur- und Kreativunternehmen erfasst, welche überwiegend erwerbswirtschaftlich orientiert sind und sich mit der Schaffung, Produktion, Verteilung und/oder medialen Verbreitung von kulturellen/kreativen Gütern und Dienstleistungen befassen.“

Das wesentliche Kriterium ist somit der Begriff „erwerbswirtschaftlich“ – alle anderen Bereiche sind somit in dem Bericht nicht weiter berücksichtigt. Es zeigt sich weiterhin, dass in dem erwähnten Wirtschaftsbereich immerhin ca. 1 Millionen Menschen tätig sind. Im Vergleich zu anderen Sektoren, ist das eine enorme Anzahl. Weiterhin ist für mich interessant, wie die Innovationsperspektive in dem Monitoringbericht berücksichtigt wird, da die Erfassung von Innovationen gerade im Kultur- und Kreativbereich problematisch ist (S. 24):

In der internationalen Innovationsstatistik wird zum Zweck der Innovationsmessung die Methodik aus dem Oslo-Manual verwendet (OECD und Eurostat, 2005). Die Kultur- und Kreativwirtschaft wird allerdings in der Innovationsstatistik nicht vollständig erfasst; zudem werden nur Unternehmen mit zumindest fünf Beschäftigten betrachtet, sodass die allermeisten Unternehmen der Kultur- und Kreativwirtschaft nicht abgebildet werden.

Der Bezug auf das Oslo-Manual aus dem Jahr 2005 erscheint nicht mehr zeitgemäß und führt zu falschen – oder ungenauen – Beurteilungen der Innovationsleistungen verschiedener Sektoren. Immerhin werden ca. 15% der User Innovationen in den Statistiken nicht beachtet (Eric von Hippel). Solche Themen besprechen wir auch in dem von uns entwickelten Blended Learning Lehrgang Innovationsmanager (IHK), der bis zum Sommer 2018 noch in Köln und Mannheim angeboten wird. Informationen zu unseren IHK-Zertifikatslehrgängen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Monitoring Report: Wirtschaft Digital 2015

digitalDer Monitoring Report Wirtschaft Digital 2015 ist im Oktober 2015 vom Bundesministerium für Wirtschaft und Energie veröffentlicht worden, und umfasst insgesamt 160 Seiten. In dem Management Summary auf Seite 7 ist folgendes zu lesen:

Die deutsche IKT-Branche ist mit 221 Milliarden Umsatz der fünftgrößte Markt nach den USA, China, Japan und Großbritannien. Sie liegt 2014 mit einem Anteil von 4,6 Prozent an der gewerblichen Wertschöpfung vor der deutschen Traditionsbranche Maschinenbau und knapp hinter dem Fahrzeugbau (…). Die herausragenden Wettbewerbsvorteile der Digitalen Wirtschaft in Deutschland sind Innovationsfähigkeit, Marktzugang sowie die Vernetzung der IKT-Branche mit anderen Wirtschaftsbereichen. Die drei größten Schwächen sind die mangelhafte Verfügbarkeit von Fachkräften, die Netzinfrastruktur sowie der geringe Anteil der IKT-Exporte an allen Exporten. Die bestehenden Stärken sollten bis 2020 durch eine Fokussierung auf die drei Wachstumsbereiche IT-Sicherheit, Mobile Computing und Transaktionsdienste ausgebaut werden. In zweiter Linie sind die Chancenbereiche Cloud-Dienste, Big Data, Industrie 4.0, Social Collaborationund Smart Services zu fördern“.

Der Report ist typisch: Die positive Bewertung der Situation und des Ausblicks dominiert. Die Themen einer offenen IKT-Landschaft in Deutschland werden dabei nur am Rande erwähnt – wenn überhaupt. In den von uns entwickelten Blended Learning Lehrgängen Innovationsmanager (IHK) und Wissensmanager (HK) gehen wir auf diese Punkte ein. Informationen dazu finden Sie auf unserer Lernplattform.

Veröffentlicht am

Bildung bewerten, betriebliche Weiterbildung bewerten, Wissen bewerten – oder was…?

In dem heutigen Beitrag von Stefanie Heine Bildung besser bewerten (FAZ vom 07.03.2007) geht es laut Überschrift um Bildung besser bewerten. Im Text wirt dann schnell deutlich, dass es nicht allgemein um Bildung (wie der Titel vermuten lassen könnte), sondern um die betriebliche Weiterbildung geht: „Weiterbildung von Mitarbeitern kostet Geld“. Weiter schmeißt die Autorin munter Begriffe wie „Wissen“, „Bilanz“ und „Bildungscontrolling“ ein. An dieser Stelle möchte ich auf meine entsprechenden Blogbeiträge (wie z.B. Neue Fragen und alte Antworten) verweisen. Aus meiner Sicht positiv an dem oben genannten Beitrag in der FAZ ist, dass der unsägliche Begriff des „Bildungscontrolling“ auch durch den Kommentar von Prof. Weiss infrage gestellt wird. In meiner Masterarbeit Intellektuelles Kapital und betriebliche Weiterbildung veweise ich in diesem Zusammenhang auf Seite 16ff. u. a. auf Arnold (2000:26-29): „Die neuen Begriffe, wie Bildungscontrolling oder Qualitätssicherung, begreifen nicht das Wesen der Erwachsenenbildung – im Gegenteil: Sie drohen es zu verfälschen und einem trivisalisiert-mechanistischen Bild von Erwachsenenbildung Vorschub zu leisten.“ Wenn moderne betriebliche Weiterbildung die Kompetenzentwicklung im Sinne einer Entwicklung von Selbstorganisationsdisposition meint, ist das klassische „Bildungscontrolling“ nicht gerade ein geeignetes Instrument – ja möglicherweise sogar kontraproduktiv. Aber was ist geeignet? Arnold favorisiert die Selbstbewertung vor der Frembewertung, Schreyögg ein dynamsiches Monitoring der Bottom-Up- und Top-Down-Prozesse in einem dynamischen Kompetenzmodell usw., usw. Es gibt die Ansätze, leider werden sie bisher noch zu wenig beachtet. Wir arbeiten daran, dass das besser wird …