OECD Report (2026) – Bei der Reproduzierbarkeit erfüllen GenAI Modelle nicht die wissenschaftlichen Kriterien

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Es ist nur natürlich, dass jeder Einzelne, Organisationen und Öffentliche Verwaltungen ausprobieren, was mit Künstlicher Intelligenz (GenAI) möglich ist. Im wissenschaftlichen Umfeld wundere ich mich allerdings immer wieder darüber, wie unkritisch GenAI eingesetzt wird, wodurch die Kriterien wissenschaftlicher Arbeit konterkariert werden. Warum ist das so? Eine ausführlich Begründung habe ich im aktuellen OECD Report gefunden. Dabei geht es hier speziell um die Reproduzierbarkeit als Säule wissenschaftlichen Arbeitens geht.

Reproducibility is a pillar of scientific operations. To be accepted by the scientific community, results must (usually) be verifiable, and reproducible by others. One condition for reproducibility is full disclosure of the methods and data that led to the conclusion, meaning transparency and accessibility. From this perspective, GenAI models do not meet scientific criteria. First, the most popular models of GenAI are “black boxes”, as neither their weights (the parameters that define a neural network) nor their training data are publicised. Thus, disentangling the contribution of the data and the contribution of various components of the model is difficult in any scientific result coming from such a model. This comes from the very nature of neural networks: knowledge is distributed, hence difficult to localise. As GenAI models have a random component at their core, some results might not be robust. In addition, access to the training data can be limited due to the proprietary nature of many GenAI models: one example is the “AI Structural Biology Consortium”, a follow-up to AlphaFold-3, an ongoing project which makes use of data owned by pharmaceutical companies, which is secret and will remain secret (Callaway, 2025). Currently, solutions for access include open weights (e.g. Llama) and open source (including access to training data). The importance of openness was demonstrated by AlphaFold2, as the disclosure of its code and data triggered a series of initiatives refining the tool (Saplakoglu, 2024). Openness is essential to the cumulative progress at the core of science“ (OECD Digital Education Report 2026).

Am Beispiel von Pharmaunternehmen wird deutlich, dass es gerade in sensiblen Branchen wichtig ist, offene KI-Modelle zu nutzen. Offenheit ist: „Offenheit ist für den kumulativen Fortschritt im Kern der Wissenschaft unerlässlich“ (ebd.). Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

In Zeiten des Hypes um Künstliche Intelligenz kann Akademische Integrität nicht schaden

Everyone is a genius …

Image by StockSnap from Pixabay

In der aktuellen Diskussion um Künstliche Intelligenz kann man das Gefühl bekommen, dass KI-Modelle alles besser machen, als es der Mensch kann. Als Mensch fühlt man sich vergleichsweise dumm.

Auf der einen Seite also die „überlegene“ Künstliche Intelligenz und auf der anderen Seite die menschliche Dummheit.

In der Zwischenzeit gibt es natürlich auch Belege dafür, dass KI-Modelle die für Menschen ausgedachten Intelligenz-Tests zur Bestimmung des Intelligenz-Quotienten meistern. Doch sollten wir solche Vergleiche überhaupt ziehen? Sind sie eher eine Art Kategorienfehler?

Everyone is a genius, but if you judge a fish on its ability to climb a tree, it will live his whole life believing it is stupid – Albert Einstein.

Was ist, wenn wir die menschliche Intelligenz in den Mittelpunkt stellen und künstliche Intelligenz dazu verwenden, die Probleme der Menschen zu lösen?

Der Intelligenz-Quotient (IQ) scheint kein geeignetes Instrument zu sein, menschliche Intelligenz darzustellen. Siehe dazu OpenAI Model „o1“ hat einen IQ von 120 – ein Kategorienfehler?

Möglicherweise ist die Definition von Intelligenz nach Howard Gardner treffender:

„Ich verstehe eine Intelligenz als biopsychologisches Potenzial zur Verarbeitung von Informationen, das in einem kulturellen Umfeld aktiviert werden kann, um Probleme zu lösen oder geistige oder materielle Güter zu schaffen, die in einer Kultur hohe Wertschätzung genießen“ (Gardner 2002:46-47).

Wenn wir die Perspektive auf Menschliche Intelligenz und Künstliche Intelligenz anpassen, kann die technologische Entwicklung zum Vorteil ganzer Gesellschaften sein. Das Beispiel Society 5.0 zeigt, wie das aussehen kann. Siehe dazu auch

Künstliche Cleverness statt Künstliche Intelligenz?

Künstliche Intelligenz – Menschliche Kompetenzen: Anmerkungen zu möglichen Kategorienfehler

Künstliche Intelligenz – Ein Kategorienfehler nach Luhmann

Warum es nicht angemessen erscheint, Künstliche Intelligenz und Menschliche Intelligenz zu verwechseln

Smolagents: Turn your idea into an App – mit verschiedenen LLMs und natürlich Open Source

https://smolagents.org/de/

KI-Agenten sind aktuell gefühlt überall. Natürlich bieten die proprietären Modelle wie ChatGPT, Gemini, Grok etc. viele Möglichkeiten an, solche KI-Agenten zu erstellen und zu nutzen. Wie Sie als Leser unseres Blogs wissen, tentieren wir allerdings dazu, Open Source AI zu nutzen, gerade wenn es um eigene, spezielle Expertise, oder unternehmensspezifisches Wissen in Innovationsprozessen geht.

Neben den von uns schon beschriebenen Möglichkeiten von Langflow und Ollama, möchten wir Ihnen eine weitere Alternative vorstellen, eigene KI-Agenten zu nutzen, und dabei unterschiedliche LLMs einzubinden.

Smolagents is a minimalist AI agent framework developed by the Hugging Face team, crafted to enable developers to deploy robust agents with just a few lines of code. Embracing simplicity and efficiency, smolagents empowers large language models (LLMs) to interact seamlessly with the real world“ (Source: https://smolagents.org/de/).

Das Team von Hugging Face bietet hier eine minimalistische Möglichkeit, auf Open Source Basis KI-Agenten zu entwickeln, und der Community in einem Repository zur Verfügung zu stellen (Best Smolagents in Hugging Face).

Es ist interessant zu sehen, wie einfach man seine Idee in einem ersten KI-Agenten umsetzen kann. In dem folgenden Beispiel habe ich versucht, einen persönlichen Innovationsprozess abzubilden. In jedem Prozessschritt wollte ich ein anderes Open Source KI-Modell einsetzen.

Eigener Screenshot

In der Abbildung sind erste Prozessschritte für die Entwicklung von Innovationen zu sehen: Inspire mit Llama 3, Ideate mit Mistral, Prototype mit Phi 3 etc. Die jeweiligen LLM kann ich auswählen und testen. Das ging sehr schnell und war super einfach.

Probieren Sie es doch auch einmal aus!

KI-Implementation: 77% unsichtbare Kosten

Hardest challenges in AI implementation (Pereira et al. 2026)

Wenn es um Implementation von Künstlicher Intelligenz im Unternehmen geht, werden oft nicht alle Kosten beachtet. In einer Analyse von 51 erfolgreichen Implementationen aus verschiedenen Branchen, haben Pereira, Graylin und Brynjolfsson im April 2026 herausgefunden, das 77% der Kosten, unsichtbar sind (Abbildung).

„77% of the hardest challenges practitioners faced were invisible costs: change management, data quality, and process redesign, not technical issues. Technology was consistently described as the easiest part. The true cost of a successful deployment usually includes at least one failed attempt, and the bulk of investment goes to everything except the model“ (Pereira et al. 2026).

Es zeigt sich auch hier wieder, dass der Einsatz von Künstlicher Intelligenz über den Hype hinaus auch wirtschaftlich genauer betrachtet werden muss. Das ist bei Kleinen und Mittleren Unternehmen (KMU) besonders wichtig, da KMU oft nur stark begrenzte Ressourcen zur Verfügung stehen.

In Zeiten des Hypes um Künstliche Intelligenz kann Akademische Integrität nicht schaden

Image by StartupStockPhotos from Pixabay

Wenn man sich die vielen Meldungen in den Medien ansieht, kann man zu dem Schluss kommen, dass es (fast) allen um Aufmerksamkeit, und damit auch um Beeinflussung geht. Dahinter können wirtschaftliche, politische oder soziale Interessen stecken. Viele gehen dabei sehr subtil vor, indem sie Daten nicht genau wiedergeben, oder bewusst aus dem Zusammenhang nehmen.

Oft fehlt bei den Angaben auch die genaue Quelle. Es wird von einer diffusen Studie gesprochen oder geschrieben, doch wird die Quelle nicht genannt. Weiterhin steht bei Zeitungsartikel oft der Hinweis, dass der Beitrag auf Basis von Inhalten anderer Medien geschrieben wurde – diese werden allerdings im Text – wenn überhaupt – nicht deutlich kenntlich gemacht.

Die wenigen Beispiele zeigen schon auf, dass eine mehr wissenschaftlich basierte Arbeit wünschenswert wäre. Die Prinzipien einer solchen Arbeit würden helfen, zwischen eigener Meinung und Quelle zu unterscheiden, um sich ein eigenes Bild machen zu können. Damit kommen wir zur Akademischen Integrität, die es ermöglichen soll, dass wissenschaftlich korrekt und damit transparent gearbeitet und veröffentlicht wird. Gerade in Zeiten von Künstlicher Intelligenz muss das ganz besonders beachtet werden.

Was ist unter Akademischer Integrität zu verstehen?

Dazu habe ich eine Definition der International Centre for Academic Integrity [ICAI] gefunden, die eher im amerikanischen Umfeld genutzt wird. In Europa beziehen sich akademische Institutionen eher auf die Definition der ENAI:

The definition from the European Network for Academic Integrity [ENAI] (2022) is less philosophical than ICAI’s. ENAI states that academic integrity is: Compliance with ethical and professional principles, standards, practices and consistent system of values, that serves as guidance for making decisions and taking actions in education, research and scholarship.“ (Gallant, T. B. ; Davis, M. Khan, Z. R. (2026): ACADEMIC INTEGRITY IN THE AGE OF AI. DOI 10.1017/9781009672078).

Wenn wir unterstellen, dass akademische Integrität bedeutet, selbst verantwortlich, transparent und ethisch zu arbeiten wird klar, dass sich diese Vorgehensweise dann auch auf die Gesellschaft auswirkt.

Es wird Zeit, dass alle Akteure in einer von Künstlicher Intelligenz getriebenen Welt, akademische Prinzipien berücksichtigen. In Europa haben wir erste Ansätze dazu, die oftmals platt mit Regulierung gleichgesetzt werden. In den USA oder China erodieren diese Grundlagen eher. Es ist daher gut, dass wir in Europa einen eigenen Weg gehen, bei dem die Gesellschaft im Mittelpunkt steht.

Sogar in unseren Blogbeiträgen haben wir von Anfang an darauf geachtet, zwischen Originaltexten mit Quellenangaben, und unserer eigenen Meinung zu unterscheiden. Dass ich die Prinzipien bei meiner Dissertation und bei meinen verschiedenen wissenschaftlichen Paper einhalte, versteht sich von selbst. Aktuell beispielsweise für die beiden Paper, die ich für die MCP 2026, 16.-19.09.2026, in Balatonfüred, Ungarn vorbereite.

Kurzlehrbuch: Künstlicher Intelligenz für den Mittelstand

In mehreren Blogbeiträge habe ich verschiedene Aspekte aus einem Kurzlehrbuch thematisiert, das als Download zur Verfügung steht: Es freut mich besonders, dass darin herausgestellt wird, dass Open Source AI gerade für Kleine und Mittlere Unternehmen (KMU) geeignet ist, Digitale Souveränität im Unternehmen zu erzielen. Am Ende des Kurzlehrbuchs fassen die Autoren die fünf wichtigsten Punkte noch einmal zusammen:

Mittelstand Digital Fokus Mensch (2026): Digitale Souveränität als Basis für sichere KI-Anwendungen | PDF.

(1) Die Arbeitswelt verändert sich – wir müssen uns mit verändern.

(2) Generative KI kann schon bei kleinen Aufgaben große Wirkung entfalten.

(3) Die Entscheidung für KI ist individuell – ebenso die Wahl der passenden Anwendung.

(4) KI-Nutzung erfordert rechtliche Orientierung – insbesondere im Hinblick auf den EU AI Act.

(5) Menschen müssen Teil der Lösung sein – sowohl bei KI als auch bei Cybersicherheit

Open Source AI und das MCP-Protocol: Another perfect match

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Die Nutzung von KI-Modellen ist im privaten und unternehmerischen Umfeld angekommen. Dabei ist es für Kleine und Mittlere Unternehmen (KMU) entscheidend, ob sie sich in die Abhängigkeit der proprietären KI-Modelle begeben, oder mehr Wert auf die eigene Datenhoheit legen. Gerade KMU können es sich nicht leisten, hier knappe Ressourcen zu verschwenden.

Wenn es um Digitale Souveränität geht, und darum, leistungsfähige KI-Modelle mit eigenen oder anderen Daten zu verknüpfen, bietet das MCP-Protocol in der Zwischenzeit sehr spannende Möglichkeiten.

MCP (Model Context Protocol) is an open standard from Anthropic designed to establish seamless interoperability between LLM applications and external tools, APIs, or data sources“ (Source: Langflow 1.4: Organize Workflows + Connect with MCP).

Wie das beispielsweise mit Langflow möglich ist, habe ich in verschiedenen Blogbeiträgen erläutert. Im Zusammenhang mit Open Source AI bietet das MCP einen Rahmen für ein eigenes, innovatives KI-System, bei dem Sie die Datenhoheit haben.

„Open-Source-Sprachmodelle sind die natürliche Ergänzung zu MCP. Während MCP den sicheren Rahmen vorgibt, liefern Open-Source-Modelle die Freiheit, diesen Rahmen nach eigenen Bedürfnissen zu gestalten“ (Hennekeuser, D. (2026): Model Context Protocol (MCP) und Open-Source-Sprachmodelle: Die Eröffnung neuer souveräner Wege. In Mittelstand Digital Fokus Mensch (2026): Digitale Souveränität als Basis für sichere KI-Anwendungen).

Siehe dazu auch Open Data and Open Source AI – a perfect match.

Künstliche Intelligenz: Wie kann ein Unternehmen bei Kooperationen die Datenhoheit behalten?

Unternehmen sind oftmals in einem oder mehreren Netzwerken aktiv,. Solche Kooperationen setzen dabei auf den klassischen Datenaustausch. Modernere Versionen der Kooperationen im KI-Zeitalter, speisen ihre Daten in KI-Modelle ein. Dabei kommt es darauf an, die eigene Datenhoheit zu behalten.

„Um ihre Datenhoheit zu bewahren, setzen Unternehmen auf föderierte, dezentrale Trainingsansätze. Die Daten werden hier nicht zu einem zentralen Server gesendet, sondern lokal in eine Kopie des KI-Modells eingespeist. Statt der Daten werden dann nur abstrakte Parameter zwischen den Partnern ausgetauscht. Jeder Partner kann der KI Daten zur Verfügung stellen, ohne diese den anderen Unternehmen preisgeben zu müssen“ (Fraunhofer, Forschung kompakt, 01.04.2026).

Das Fraunhofer-Institut für Software- und Systemtechnik ISST in Dortmund hat gemeinsam mit dem Industriepartner Fujitsu Research sogar eine Lösung für das Unlearning für dezentrale, föderierte KI-Kollaborationen entwickelt.

Dabei geht es um die Frage, wie mit Daten umgegangen wird, wenn die KI-Kooperation verlässt – spannend. Wie das alles funktioniert, zeigt das Fraunhofer Institut auf der Hannover Messe 2026.

KI und Open Data: Common Corpus mit mehr als 1 Millionen Downloads

Quelle: Link

Über Open Data und Open Source Ai habe ich in dem Beitrag Open Data and Open Source AI – a perfect match geschrieben. Eine besondere Rolle nimmt in dem Zusammenhang Common Corpus ein,

In dem Beitrag Langlait et al (2024): Releasing the largest multilingual open pretraining dataset vom 14.11.2024 auf Huggingface wird das Konzept und das Alleinstellungsmerkmal von Common Corpus als Teil der AI Alliance Open Trusted Data Initiative vorgestellt.

„Many have claimed that training large language models requires copyrighted data, making truly open AI development impossible. Today, Pleias is proving otherwise with the release of Common Corpus (part of the AI Alliance Open Trusted Data Initiative)—the largest fully open multilingual dataset for training LLMs, containing over 2 trillion tokens of permissibly licensed content with provenance information (2,003,039,184,047 tokens)“ (Source).

In der Zwischenzeit wurde Common Corpus schon mehr als 1 Millionen Mal heruntergeladen. Der starke Anstieg der Downloads zeigt eine relative Verschiebung auf dem KI-Markt, denn immer mehr Marktteilnehmer suchen nach Open Data, die sie frei nutzen können.

„Open-Source-Datensätze wie das Common Corpus bieten hier eine Lösung. Sie ermöglichen es Forschern und Unternehmen, auf eine breite Palette von Daten zuzugreifen, ohne sich über komplexe Lizenzfragen oder potenzielle Urheberrechtsverletzungen Gedanken machen zu müssen“ ( Common Corpus übertrifft eine Million Downloads und hebt Bedeutung von Open Data für KI hervor, Mindverse vom 12.03.2026).

Langsam aber sicher wollen immer mehr KI-Nutzer Künstliche Intelligenz gesellschaftlich verantwortungsvoll nutzen – ganz im Sinne einer Digitalen Souveränität.

Vom AI-Hype über eine AI-Hybris zu AI CON

https://thecon.ai/

Es ist an der Zeit, die Entwicklungen bei Artificial Intelligence (Künstlicher Intelligenz) auch einmal etwas kritischer zu beleuchten. Zwei Forscher aus den Bereichen der Sprach- und Sozialwissenschaften haben das in ihrem Buch getan:

Bender, E. M.; Hanna, A. (2025): The AI CON. How To fight Big Tech´s Hype And Create The Future We Want | Link.

Um das Buch mit seinen Ansichten besser verstehen zu können lohnt es sich, kurz auf in die Anfänge von Artificial Intelligence zurückzuschauen. Den Begriff „Artificial Intelligence“ prägte McCarthy für den Dartmouth Workshop im Jahr 1956. Darüber hinaus hat Minsky im gleichen Jahr sein einflussreiches Paper zu Heuristic Aspects of the Artificial Intelligence Problem veröffentlicht. Seit dieser Zeit hat die Entwicklung von Artificial Intelligence immer dynamischer zugenommen.

Die Dynamik ist seit 70 Jahren auch geprägt von militärischen Anforderungen und von Investoren, die in Artificial Intelligence eine sehr lukrative Story sehen, die uns erzählt, dass Maschinen (Artificial Intelligence) im Vergleich zu Menschen in allen Bereichen besser sind, bzw. sein werden. Denn: Wenn etwas heute noch nicht klappen sollte, dann wird es mit besseren Maschinen bestimmt in der Zukunft funktionieren – so zumindest die Story. Man muss eben daran glauben…

Dieses Narrativ hilft natürlich die enormen Investitionen zu schützen, und weiterhin viel Geld zu verdienen. Doch stellen sich immer mehr Personen – und ganze Gesellschaften – in der Zwischenzeit die Frage, ob diese Erzählung stimmt, und ob diese Entwicklungen gut für die Menschen sind. Manche argumentieren, dass es sich bei dem allseits propagierten AI-Hype ehr um eine AI-Hybris handelt:

Die Hybris (altgriechisch für Übermut‘, ‚Anmaßung‘) bezeichnet Selbstüberschätzung oder Hochmut. Man verbindet mit Hybris häufig den Realitätsverlust einer Person und die Überschätzung der eigenen Fähigkeiten, Leistungen oder Kompetenzen, vor allem von Personen in Machtpositionen. (Quelle: vgl. Wikipedia).

Wenn Sie sich diese ganzen Punkte noch einmal vergegenwärtigen, kommen Sie möglicherweise auch zu dem Schluss, dass man gegen das etablierte Narrativ etwas unternehmen sollte/muss. Genau das haben die beiden Autoren mit ihrem Buch gemacht.

Um es noch einmal deutlich zu machen: Es geht nicht darum, Artificial Intelligence zu „verteufeln“, sondern darum, die Möglichkeiten von Artificial Intelligence im Rahmen von Werten und Grundrechten für Menschen zu nutzen.

Seit mehreren Jahren gehen wir auch positiv kritisch mit den Möglichkeiten und den Risiken von Artificial Intelligence um – ganz im Sinne einer Digitalen Souveränität.