Veröffentlicht am

OECD Report (2026) – Bei der Reproduzierbarkeit erfüllen GenAI Modelle nicht die wissenschaftlichen Kriterien

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Es ist nur natürlich, dass jeder Einzelne, Organisationen und Öffentliche Verwaltungen ausprobieren, was mit Künstlicher Intelligenz (GenAI) möglich ist. Im wissenschaftlichen Umfeld wundere ich mich allerdings immer wieder darüber, wie unkritisch GenAI eingesetzt wird, wodurch die Kriterien wissenschaftlicher Arbeit konterkariert werden. Warum ist das so? Eine ausführlich Begründung habe ich im aktuellen OECD Report gefunden. Dabei geht es hier speziell um die Reproduzierbarkeit als Säule wissenschaftlichen Arbeitens geht.

Reproducibility is a pillar of scientific operations. To be accepted by the scientific community, results must (usually) be verifiable, and reproducible by others. One condition for reproducibility is full disclosure of the methods and data that led to the conclusion, meaning transparency and accessibility. From this perspective, GenAI models do not meet scientific criteria. First, the most popular models of GenAI are “black boxes”, as neither their weights (the parameters that define a neural network) nor their training data are publicised. Thus, disentangling the contribution of the data and the contribution of various components of the model is difficult in any scientific result coming from such a model. This comes from the very nature of neural networks: knowledge is distributed, hence difficult to localise. As GenAI models have a random component at their core, some results might not be robust. In addition, access to the training data can be limited due to the proprietary nature of many GenAI models: one example is the “AI Structural Biology Consortium”, a follow-up to AlphaFold-3, an ongoing project which makes use of data owned by pharmaceutical companies, which is secret and will remain secret (Callaway, 2025). Currently, solutions for access include open weights (e.g. Llama) and open source (including access to training data). The importance of openness was demonstrated by AlphaFold2, as the disclosure of its code and data triggered a series of initiatives refining the tool (Saplakoglu, 2024). Openness is essential to the cumulative progress at the core of science“ (OECD Digital Education Report 2026).

Am Beispiel von Pharmaunternehmen wird deutlich, dass es gerade in sensiblen Branchen wichtig ist, offene KI-Modelle zu nutzen. Offenheit ist: „Offenheit ist für den kumulativen Fortschritt im Kern der Wissenschaft unerlässlich“ (ebd.). Siehe dazu auch

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

In Zeiten des Hypes um Künstliche Intelligenz kann Akademische Integrität nicht schaden

Veröffentlicht am

OECD (2025): OECD Skills Outlook 2025

Source: OECD Skills Outlook 2025 (PDF)

Der OECD Skills Outlook 2025 (PDF) enthält unter anderem eine Übersicht zu den 21 st-century skills. In der Abbildung ist einmal der Kern (Core) mit Literacy, Numeracy und Adaptive problem solving zu erkennen. Ergänzend sind auch noch untergeordnete Skills für Erwachsene und Jugendliche aufgelistet.

In dem heute sehr turbulenten Umfeld ist es oft schwer, Voraussagen zu machen. Dennoch können gerade so umfassende Untersuchungen wie die von der OECD eine erste Orientierung geben. Siehe dazu auch

DigComp 3.0: European Digital Competence Framework 2025

WEF (2025): Future of Jobs Report – Project Manager auf Platz 12 der „growing jobs“

Veröffentlicht am

Gibt es eine strategische Agilität?

Unter dem Begriff „Agilität“ wird häufig Schnelligkeit und Flexibilität von Organisationen, Personen, Strukturen und Prozessen verstanden. Es ist also eher eine Reaktion auf das unsichere und turbulente Umfeld. Die OECD betont demgegenüber eine eher strategische Agilität (OECD-Workshop 2011 in Paris), bei der auch langfristige Planungen enthalten sein sollten. Diese Überlegungen nimmt das EFI Gutachten 2021 in der Studie zum deutschen Innovationssystem | Nr. 8-2021 Agilität in der F&I-Politik, Konzept, Definition, Operationalisierung auf:

„(..) betont die Expertenkommission, dass es nicht reicht, flexibel und schnell auf Veränderungen zu reagieren.. Vielmehr müssen Politik und Verwaltung auch langfristige Entscheidungen proaktiv vorbereiten, partizipativ gestalten und reflexiv umsetzen. Dabei ist eine Balance zwischen langfristiger Planung und kurzfristiger Anpassung zu finden. Damit wird das Konzept der Agilität – zusätzlich zu Schnelligkeit und Flexibilität – um die Ausprägungen Proaktivität, Partizipation, Reflexivität und Ambidextrie erweitert (ebd. S. 46ff.).

Solche Zusammenhänge besprechen wir auch in dem von uns entwickelten Blended Learning Lehrgang Projektmanager/in Agil (IHK). Informationen zum Lehrgang und zu Terminen finden Sie auf unserer Lernplattform.

Veröffentlicht am

Interessante Fußnote im BuFi 2020

Der aktuelle BuFi 2020 – BMBF (2020): Daten und Fakten zum deutschen Forschungs- und Innovationssystem. Bundesbericht Forschung und Innovation 2020 (PDF) – ist wieder ein Quell der interessanten Informationen. Der Tenor ist immer wieder der selbe: Deutschland gibt viel Geld für Forschung aus, ist deshalb innovativ, nein besser: muss innovativ sein. Die Frage ist allerdings: Warum kommen die Innovationen des täglichen Gebrauchs aus den USA (Amazon, Apple, Microsoft, Facebook, Google usw.) oder zukünftig aus China (Alibaba, Tencent, WeChat, TikTok usw.)?

Weiterhin ist ja bekanntlich alles relativ, also relativ zur Definition, was unter Innovation zu verstehen ist. Interessant ist hier, dass die neue Definition von Innovation nach dem neuen Oslo Manual der OECD dazu geführt hat, dass die Innovatorenquote auf einem deutlich höheren Wert liegt, obwohl vor der neuen Definition ein Rückgang der Innovatorenquote zu beobachten war. Honi soit qui mal y pense.

Mit dem Berichtsjahr 2018 wurde die Messung von Innovationen an das neue Oslo Manual der OECD angepasst. Die Anzahl der Innovatoren liegt nun auf einem deutlich höheren Niveau, da insbesondere Prozessinnovationen weiter abgegrenzt werden als bisher und die Erfassung von Innovationen im Zusammenhang mit der Digitalisierung verbessert wurde (…). Vor Einführung der neuen Definition war ein Rückgang der Innovatorenquote zu beobachten gewesen (BMBF 2020:40).

Es ist bezeichnend, dass diese Information größtenteils in einer Fußnote versteckt ist. Allen Statistiken zum Trotz zeigt die Lebenswirklichkeit eine andere Realität. Das Innovationsmanagement sollte daher den Vergleich international, und weniger im nationalen oder im europäischen Kontext suchen. Wie sieht es aus, wenn wir „Innovation“ weltweit vergleichen?

Veröffentlicht am

Hanushek/Woessmann (2010): How Much Do Educational Outcomes Matter in OECD Countries?

In dem Paper Hanushek/Woessmann (2010): How Much Do Educational Outcomes Matter in OECD Countries? kommen die Forscher zu folgendem Ergebnis: „The results suggest that the OECD as a whole could gain (in present value terms) $90-275 trillion from implementation of reform programs that bring human capital in the OECD to higher levels (but ones currently observed within the OECD). We close by discussing evidence on which education policy reforms may be able to bring about the required improvements in educational outcomes“. Die stärkere Berücksichtigung von Humankapital kann also in den OECD-Ländern zu einem deutlich besseren wirtschaftlichen Ergebnissen führen. Langfristig kommt dabei dem Bildungswesen eine entscheidende Rolle zu. Doch um welche Art von Bildung sprechen wir hier? Auch dazu geben die Forscher Hinweise, die allerdings von den Plattitüden (Wir brauchen mehr Geld im System usw.) unserer verantwortlichen Politiker abweichen. Was bleibt? Es gibt Länder wie Finnland, die diese Erkenntnisse auch umsetzen und es gibt Länder, in denen sich die Beteiligten die Erkenntnisse durchlesen und weitermachen wie bisher… Siehe dazu auch Stundenplan von 1906/1907: Geändert hat sich bis heute (fast) nichts, Bildung, Lernen, Wissen: Ein Plädoyer für einen Paradigmenwechsel, Soziale und psychologische Zusammenhänge rücken stärker in den ökonomischen Fokus, Bildung neu denken: A truck is not a horse.

Veröffentlicht am

Symposium zu Global Open Innovation Networks

 

 

 

 

 

Das Symposium on Global Open Innovation Networks fand am 23.01.2009 in Paris statt: „OECD governments are faced with new challenges as globalisation and open innovation increasingly impact on the way innovation takes place, on the linkages within innovation systems at national and global level and on the ability to reap benefits from investments in R&D and innovation whether at regional, national or global level. At the same time the open innovation paradigm and the development of global innovation networks can potentially enhance the returns to both private and public R&D investment.“ Es ist deutlich zu erkennen, dass nicht nur Unternehmen Open Innovation umsetzen, sondern Open Innovation auch immer stärker in den nationalen und internationalen Innovationsprogrammen berücksichtigt wird. Die verschiedenen Präsentationen geben dazu einen guten Eindruck.

Veröffentlicht am

Wird Open Education die Bildungslandschaft absehbar grundlegend verändern?

open-education-declaration.jpgDie Capetown Open Education Declaration (Deutsche Fassung) will das Potenzial von Open Educational Ressources (OER) realisieren. Wie schon in einem früheren Blogbeitrag erwähnt, hat die OECD im letzten Jahr auf folgendes hingeweisen: „The open educational resource (OER) movement aims to break down […] barriers and to encourage and enable freely sharing content.” Es ist somit nur konsequent, diese Potenziale besser zu erschließen. Dabei sollte immer wieder auf die Unterschiede zwischen Open Educational Ressources, Open Content, Open Education, Open Innovation usw. hingeweisen werden. In einigen Beiträgen vermischen sich die verschiedenen Themen so, dass man schon manchmal von Beliebigkeit sprechen kann. In der Deklaration wird die Idee Open Education wie folgt beschrieben: „Sie fördert den Zugang zu Technologie, unterstützt kollaboratives Lernen, und bietet darüber hinaus neue Möglichkeiten erlangtes Wissen zu prüfen, testen, und nachzuweisen. Es ist wichtig, die Vision von frei zugänglicher Bildung zu realisieren, zu verstehen und zu fördern. ´Open Education´ wird die bestehende Bildungslandschaft absehbar grundlegend verändern.“ Letzteres kann man nur hoffen…

Veröffentlicht am

OECD (2007): Giving Knowledge For Free. The emergence of open educational resources

Laptop202.jpgDie OECD hat ein interessantes Paper Giving Knowledge For Free herausgegeben. Darin wird die enorme Bedeutung von Open Educational Resources (OER) herausgestellt: „The open educational resource (OER) movement aims to break down […] barriers and to encourage and enable freely sharing content.“ Open Source, Open Content, Open Innovation, Open Culture usw. deuten schon auf die Erweiterung des Ermöglichungsraumes in vielen Bereichen hin. Ich verwende hier absichtlich den Begriff „ermöglichen“, da es in der heutigen Zeit darauf ankommt, Lernprozesse zu ermöglichen und nicht zu diktieren. Vom Lehren zum Lernen, vom Vermitteln zum Aneignen – eben von der Erzeugungsdidaktik zur Ermöglichungsdidaktik. Diese Überlegungen deuten schon darauf hin, dass der Titel nicht passend ist: Giving Knowledge For Free ist deshalb unglücklich, da man kein Wissen gibt, sondern zunächst Daten/Informationen, die dann beim Individuum, bzw. in Organisationen eine Wissenskonstruktion ermöglicht (Konstruktivismus). Der Unterschied sollte bei der Diskussion um die technologischen Möglichkeiten (ob Open Soure oder „Closed“ Source) beachtet werden, wenn man über Wissen spricht (Siehe dazu auch den Blogbeitrag Kann man Wissen vermitteln?).