Mit Cloudfare unbefugtes Scraping und Verwenden von Originalinhalten stoppen

Image by Werner Moser from Pixabay

In den letzten Jahren haben die bekannten KI-Tech-Unternehmen viel Geld damit verdient, Daten aus dem Internet zu sammeln und als Trainingsdaten für Large Language Models (LLMs) zu nutzen. Dabei sind diese Unternehmen nicht gerade zimperlich mit Datenschutz oder auch mit Urheberrechten umgegangen.

Es war abzusehen, dass es gegen dieses Vorgehen Widerstände geben wird. Neben den verschiedenen Klagen von Content-Erstellern wie Verlagen, Filmindustrie usw. gibt es nun immer mehr technische Möglichkeiten, das unberechtigte Scraping und Verwenden von Originalinhalten zu stoppen. Ein kommerzielles Beispiel dafür ist Cloudfare. In einer Pressemitteilung vom 01.07.2025 heißt es:

San Francisco (Kalifornien), 1. Juli 2025 – Cloudflare, Inc. (NYSE: NET), das führende Unternehmen im Bereich Connectivity Cloud, gibt heute bekannt, dass es nun als erster Anbieter von Internetinfrastruktur standardmäßig KI-Crawler blockiert, die ohne Erlaubnis oder finanziellen Ausgleich auf Inhalte zugreifen. Ab sofort können Eigentümerinnen und Eigentümer von Websites bestimmen, ob KI-Crawler überhaupt auf ihre Inhalte zugreifen können, und wie dieses Material von KI-Unternehmen verwertet werden darf” (Source: Cloudfare).

Siehe dazu auch Cloudflare blockiert KI-Crawler automatisch (golem vom 01.07.2025). Ich kann mir gut vorstellen, dass es in Zukunft viele weitere kommerzielle technische Möglichkeiten geben wird, Content freizugeben, oder auch zu schützen.

Das ist zunächst einmal gut, doch sollte es auch Lösungen für einzelne Personen geben, die sich teure kommerzielle Technologie nicht leisten können oder wollen. Beispielsweise möchten wir auch nicht, dass unsere Blogbeiträge einfach so für Trainingsdaten genutzt werden. Obwohl wir ein Copyright bei jedem Beitrag vermerkt haben, wissen wir nicht, ob diese Daten als Trainingsdaten der LLMs genutzt werden, da die KI-Tech-Konzerne hier keine Transparenz zulassen. Siehe dazu auch Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Dazu gibt es eine weitere interessante Entwicklung, die ich in dem Beitrag Creative Commons: Mit CC Signals Content für Künstliche Intelligenz freigeben – oder auch nicht erläutert habe.

Kultur beeinflusst Daten <> Daten beeinflussen Kultur

Image by This_is_Engineering from Pixabay

Kultur ist ein häufig verwendeter Begriff, der oftmals auf Länder bezogen ist (Französische Kultur, Italienische Kultur, Westliche Kultur, Chinesische Kultur etc.) und doch nicht so einfach an irgendwann einmal gezogenen Ländergrenzen halt macht. Dabei sollte auch die Diskussion über Kultur und Werte kritisch gesehen werden. Entsteht Kultur top-down oder bottom-uo, bzw. sowohl-als-auch? Siehe dazu beispielsweise Kritische Anmerkungen zum Wertansatz von Kultur.

Auch bei Unternehmen sprechen wir von Unternehmens-Kultur, die Kultur in verschiedenen Abteilungen oder sogar in verschiedenen Teams. Siehe dazu beispielsweise Innere und äußere Projektkulturen beachten oder auch Unternehmenskultur und Projektkultur im Spannungsfeld zwischen “Tight” und “Loose”. In Zeiten von Künstlicher Intelligenz wird beispielsweise auch gefordert, eine KI-förderliche Organisationskultur aufzubauen, inkl. Leitfaden.

Kann es in dieser vielschichtigen Betrachtung überhaupt EINE Kultur geben (Kultur ist statisch), oder ist Kultur ein sich permanent wandelnder Begriff mit über die Zeit immer wieder neuen Anpassungen an die Wirklichkeit?

Eine weitere Frage ist: Welche Zusammenhänge gibt es zwischen Kultur und Daten?

Einerseits kann eine Kultur natürlich Daten beeinflussen, indem Werte und damit Grenzen und Bewertungen vorgegeben werden. Darüber hinaus entscheidet Kultur auch, ob Daten frei oder eher verschlossen zur Verfügung stehen.

Andererseits können generierte Daten, gerade Big Data, Open Data usw., eine Kultur beeinflussen, indem neue Erkenntnisse und damit oft verbunden neue Möglichkeiten/Innovationen entstehen. Aktuell sehen wir an den Entwicklungen bei der Künstlichen Intelligenz, wie große Trainingsdaten (Large Language Models) starken Einfluss auf eine Gesellschaft und die jeweilige(n) Kultur(en) nehmen.

Es bleibt abzuwarten, in welchen Bereichen positiv, und in welchen negativ. Aktuell sieht es für mich so aus, als ob die Tech-Unternehmen die Gewinne aus der Nutzung Künstlicher Intelligenz für sich beanspruchen, und sich um die sozialen Konsequenzen für eine Gesellschaft nicht kümmern.

Wer etwas tiefer einsteigen möchte, kann sich folgendes Buch (Open Access) ansehen:

Schäfer, M. T.; van Els, K. (Eds.) (2017): The Datafied Society. Studying Culture through Data | PDF.

Creative Commons: Mit CC Signals Content für Künstliche Intelligenz freigeben – oder auch nicht

Screenshot: https://creativecommons.org/ai-and-the-commons/cc-signals/

In dem Blogbeitrag Was unterscheidet Künstliche Intelligenz von Suchmaschinen? hatte ich dargestellt, wie sich Suchmaschinen von Künstlicher Intelligenz unterscheiden. Content-Anbieter können dabei nur bedingt auf Datenschutz, Urheberrecht, EU AI Act usw. vertrauen. In der folgenden Veröffentlichung sind die verschiedenen Punkte noch einmal strukturiert zusammengefasst, inkl. einer möglichen Lösung für die skizzierten Probleme:

Creative Commons (2025): From Human Content to Machine Data. Introducing CC Signals | PDF

Creative Commons (CC) kennen dabei viele von uns als eine Möglichkeit, anderen unter bestimmten Bedingungen das Recht zur Nutzung des eigenen Contents einzuräumen. Creative Commons erläutert, dass KI-Modelle die üblichen gesellschaftlichen Vereinbarungen mehr oder weniger ignoriert, und somit den “social contract” aufkündigt. Diesen Hinweis finde ich bemerkenswert, da hier das Vorgehen der KI-Tech-Unternehmen mit den möglichen gesellschaftlichen Auswirkungen verknüpft wird.

Mit CC Signals hat Creative Commons ein erstes Framework veröffentlich, das es ermöglichen soll, Content mit Berechtigungsstufen für KI-Systeme zu versehen.

“CC signals are a proposed framework to help content stewards express how they want their works used in AI training—emphasizing reciprocity, recognition, and sustainability in machine reuse. They aim to preserve open knowledge by encouraging responsible AI behavior without limiting innovation” (ebd.)

Machen Sie bei der Weiterentwicklung dieses Ansatzes mit:

“Head over to the CC signals GitHub repository to provide feedback and respond to our discussion questions: https://github.com/creativecommons/cc-signals.”

Was unterscheidet Künstliche Intelligenz von Suchmaschinen?

Conceptual technology illustration of artificial intelligence. Abstract futuristic background

Man könnte meinen, dass Künstliche Intelligenz (GenAI) doch nur eine Weiterentwicklung bekannter Suchmaschinen ist, doch dem ist nicht so. In einem Paper wird alles noch ausführlicher beschrieben. Hier nur ein Auszug:

“The intermediation role played by AI systems is altogether new: where the role of search engines has traditionally been to surface the most relevant links to answers of the user’s query, AI systems typically expose directly an answer… For the large number of content producers whose sustainability relies on direct exposure to (or interactions with) the final end user, this lack of reliable exposure makes it unappealing to leave their content crawlable for AI-training purposes.” (Hazaël-Massieux, D. (2024): Managing exposure of Web content to AI systems | PDF.

Für viele Content-Anbieter ist die Vorgehensweise der GenAI-Modelle von großem Nachteil, da diese direkte Ergebnisse liefern, und die Interaktionen mit dem User (wie bei den bisher üblichen Suchmaschinen-Ergebnissen) entfallen können. Die bekannten GenAI-Modelle (Closed Source) nutzen einerseits die vorab antrainierten Daten und andererseits live content (summarize this page), und machen daraus ein Milliarden-Geschäft.

Demgegenüber stehen erste allgemeine Entwicklungen wie EU AI Act, Urheberrecht, Datenschutz usw., die allerdings nicht ausreichend sind, sich als Content-Anbieter (Person, Unternehmen, Organisation, Verwaltung usw.) vor der Vorgehensweise der Tech-Giganten zu schützen.

Es müssen neue, innovative Lösungen gefunden werden.

Dabei wäre es gut, wenn jeder Content-Anbieter mit Hilfe eines einfachen Verfahrens (Framework) entscheiden könnte, ob und wie sein Content für die Allgemeinheit, für Suchmaschinen, für KI-Modelle verwendet werden darf.

… und genau so etwas gibt es in ersten Versionen.

Über diese Entwicklungen schreibe ich in einem der nächsten Blog-Beiträge noch etwas ausführlicher.

Künstliche Intelligenz: 99% der Unternehmensdaten sind (noch) nicht in den Trainingsdaten der LLMs zu finden

Wenn es um allgemein verfügbare Daten aus dem Internet geht, können die bekannten Closed Source KI-Modelle erstaunliche Ergebnisse liefern. Dabei bestehen die genutzten Trainingsdaten der LLMs (Large Language Models) oft aus den im Internet verfügbaren Daten – immer öfter allerdings auch aus Daten, die eigentlich dem Urheberrecht unterliegen, und somit nicht genutzt werden dürften.

Wenn es um die speziellen Daten einer Branche oder eines Unternehmens geht, sind deren Daten nicht in diesen Trainingsdaten enthalten und können somit bei den Ergebnissen auch nicht berücksichtigt werden. Nun könnte man meinen, dass das kein Problem darstellen sollte, immerhin ist es ja möglich ist, die eigenen Daten für die KI-Nutzung zur Verfügung zu stellen – einfach hochladen. Doch was passiert dann mit diesen Daten?

Immer mehr Unternehmen, Organisationen und Verwaltungen sind bei diesem Punkt vorsichtig, da sie nicht wissen, was mit ihren Daten bei der KI-Nutzung durch Closed Source oder auch Closed Weighted Modellen passiert. Diese Modelle sind immer noch intransparent und daher wie eine Black Box zu bewerten. Siehe dazu Das Kontinuum zwischen Closed Source AI und Open Source AI oder Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?

Wollen Sie wirklich IHRE Daten solchen Modellen zur Verfügung stellen, um DEREN Wettbewerbsfähigkeit zu verbessern?

“So here’s the deal: you’ve got data. That data you have access to isn’t part of these LLMs at all. Why? Because it’s your corporate data. We can assure you that many LLM providers want it. In fact, the reason 99% of corporate data isn’t scraped and sucked into an LLM is because you didn’t post it on the internet. (…) Are you planning to give it away and let others create disproportionate amounts of value from your data, essentially making your data THEIR competitive advantage OR are you going to make your data YOUR competitive advantage?” (Thomas et al. 2025).

Doch was ist die Alternative? Nutzen Sie IHRE Daten zusammen mit Open Source AI auf ihren eigenen Servern. Der Vorteil liegt klar auf der Hand: Alle Daten bleiben bei Ihnen.

Siehe dazu auch

LocalAI: KI-Modelle und eigene Daten kombinieren

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Digitale Souveränität: Wo befinden sich deine Daten?

Test Criteria Catalogue for AI Systems in Finance

AI (Artificial intelligence) AI management and support technology in the Business plan marketing success customer. AI management concept.

Der Finanzbereich mit seinen unglaublichen Mengen an Daten (historische Daten und Echtzeitdaten) ist prädestiniert für den Einsatz Künstlicher Intelligenz (KI, oder englisch AI: Artificial Intelligence). Die Nutzung von LLM (Large Language Models) ,oder in Zukunft Small Language Models (SLM) und KI-Agenten, kann für eine Gesellschaft positiv, oder eher negativ genutzt werden. Dabei können Open Source AI Models, Open Weights Models und Closed AI Models unterschieden werden.

Es ist aus meiner Sicht gut, dass die Europäische Union mit dem EUAI-Act weltweit erste Rahmenbedingungen für die Nutzung Künstlicher Intelligenz festgelegt hat. Im Vergleich zu dem US-amerikanischen vorgehen (KI-Unternehmen können alles machen, um Profite zu generieren) und dem chinesischen Vorgehen (KI für die Unterstützung der Partei), ist der Europäische Weg eine gute Mischung. Natürlich muss dabei immer abgewogen werden, welcher Freiraum für Innovationen bleiben sollte.

Um nun herauszufinden, wie KI-Ssteme z.B. für den Finanzbereich bewertet und letztendlich ausgewählt werden sollten, hat das Federal Office for Information Security (Deutsch: BSI) einen entsprechenden Kriterienkatalog veröffentlicht:

Publication Notes
Given the international relevance of trustworthy AI in the financial sector and the widespread applicability ofthe EUAIAct across memberstates and beyond,this publication was prepared in English to ensure broader accessibility and facilitate collaboration with international stakeholders. English serves as the standard language in technical, regulatory, and academic discourse on AI, making it the most appropriate choice for addressing a diverse audience, including researchers, industry professionals, and policymakers across Europe and globally” (Federal Office for Information Security 2025).

Es stellt sich dabei auch die Frage, ob diese Kriterien nur für den Finanzbereich geeignet sind, oder ob alle – oder einige – der Kriterien auch für andere gesellschaftlichen Bereiche wichtig sein könnten.

Siehe dazu auch Sou.veränitätsscore für KI-Systeme.

Künstliche Intelligenz: Vorteile von Small Language Models (SLMs)

Aktuell bekannte KI-Anwendungen rühmen sich seit Jahren, sehr große Mengen an Trainingsdaten (Large Language Models) zu verarbeiten. Der Tenor war und ist oft noch: Je größer die Trainingsdatenbank, um so besser.

In der Zwischenzeit weiß man allerdings, dass das so nicht stimmt und Large Language Models (LLMs) durchaus auch Nachteile haben. Beispielsweise ist die Genauigkeit der Daten ein Problem – immerhin sind die Daten oft ausschließlich aus dem Internet. Daten von Unternehmen und private Daten sind fast gar nicht verfügbar. Weiterhin ist das Halluzinieren ein Problem. Dabei sind die Antworten scheinbar plausibel, stimmen aber nicht.

Muddu Sudhaker hat diese Punkte in seinem Artikel noch einmal aufgeführt. Dabei kommt er zu dem Schluss, dass es in Zukunft immer mehr darauf ankommen wird, kleinere, speziellere Trainingsdatenbanken zu nutzen – eben Small Language Models (SLMs).

Muddu Sudhakar (2024): Small Language Models (SLMs): The Next Frontier for the Enterprise, Forbes, LINK

Große Vorteile der SLMs sieht der Autor natürlich einmal in der Genauigkeit der Daten und damit in den besseren Ergebnissen. Weiterhin sind SLMs natürlich auch kostensparender. Einerseits sind die Entwicklungskosten geringer, andererseits benötigt man keine aufwendige Hardware, um SLMs zu betreiben. Teilweise können solche Modelle auf dem eigenen PC, oder auf dem Smartphone betrieben werden.

Solche Argumente sind natürlich gerade für Kleine und Mittlere Unternehmen (KMU) interessant, die mit den geeigneten SLMs und ihren eigen, unternehmensinternen Daten ein interessantes und kostengünstiges KI-System aufbauen können.

Voraussetzung dafür ist für mich, dass alle Daten auf den eigenen Servern bleiben, was aktuell nur mit Open Source AI möglich ist. OpenAI mit ChatGPT ist KEIN Open Source AI.

Künstliche Intelligenz: Würden Sie aus diesem Glas trinken?

Image by AIAC Interactive Agency from Pixabay

Das Bild zeigt ein Glas mit einer Flüssigkeit. Es ist allerdings nicht genau zu erkennen, um welchen Inhalt es sich handelt. Es könnte also sein, dass die Flüssigkeit gut für Ihre Gesundheit ist, oder auch nicht. Vertrauen Sie dieser Situation? Vertrauen Sie demjenigen, der das Glas so hingestellt hat?

Würden Sie aus diesem Glas trinken?

So ähnlich ist die Situation bei Künstlicher Intelligenz. Die Tech-Unternehmen veröffentlichen eine KI-Anwendung nach der anderen. Privatpersonen, Unternehmen, ja ganze Verwaltungen nutzen diese KI-Apps als Black Box, ohne z.B. zu wissen, wie die Daten in den Large Language Models (LLM) zusammengetragen wurden – um nur einen Punkt zu nennen.

Der Vergleich von dem Glas mit Künstlicher Intelligenz hinkt zwar etwas, doch erscheint mir die Analogie durchaus bemerkenswert, da der erste Schritt zur Anwendung von Künstlicher Intelligenz Vertrauen sein sollte.

Step 1: It All Starts with Trust
“Think about it: the glass is opaque, you can’t even see inside it! The water inside that glass could pure spring water, but it could also be cloudy and murky puddle water, or even contaminated water! If you couldn’t see inside that glass, would you still drink what’s inside it after adding tons of high-quality sugar and lemon to it? Probably not, so why would you do this with one of your company’s most previous assets—your data?” (Thomas et al. 2025).

Vertrauen Sie der Art von Künstlicher Intelligenz, wie sie von den etablierten Tech-Giganten angeboten wird? Solche Closed Source Modelle sind nicht wirklich transparent, und wollen es auch weiterhin nicht sein. Siehe dazu auch Das Kontinuum zwischen Closed Source AI und Open Source AI.

Vertrauen Sie besser wirklichen Open Source AI – Anwendungen: Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Digitale Souveränität: Souveränitätsscore für KI Systeme

Souveränitätsscore für KI-Systeme – Ausschnitt (Quelle: https://digital-sovereignty.net/score/score-ai)

In der Zwischenzeit sind sehr viele KI-Modelle (AI Model) verfügbar, sodass es manchmal zu etwas unscharfen Beschreibungen kommt. Eine erste Unterscheidung ist, Closed Source AI, Open Weights AI und Open Source AI nicht zu verwechseln. In dem Beitrag AI Kontinuum wird das erläutert.

“OpenAI” wurde beispielsweise als Muttergesellschaft von ChatGPT 2015 als gemeinnützige Organisation gegründet, seit 2019 ist “OpenAI” gewinnorientiert und wird von Microsoft dominiert. Durch geschicktes Marketing wird oftmals suggeriert, dass von kommerziellen Anbietern bereitgestellte Modelle “Open Source AI” sind.

Dabei stellt sich natürlich gleich die Frage, nach einer entsprechenden Definition, die es auch seit 2024 gibt: Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht.

Wenn Sie sich also für AI Modelle interessieren, können Sie dieses Modell gegenüber den in der Definition genannten Kriterien prüfen.

Weiterhin können Sie den Souveränitätsscore für KI Systeme von Prof. Wehner nutzen (Abbildung). Schauen Sie sich auf der Website auch noch weiter um – es lohnt sich.

Open Source AI: Veröffentlichung der ALIA AI Modelle für ca. 600 Millionen Spanisch sprechender Menschen weltweit

Quelle: https://alia.gob.es/

Es ist schon erstaunlich, wie unreflektiert viele Privatpersonen, Organisationen oder auch Öffentliche Verwaltungen Künstliche Intelligenz (AI / GenAI) von den bekannten Tech-Unternehmen nutzen. Natürlich sind diese Closed Source AI Models, oder auch Open Weights Models, sehr innovativ und treiben durch immer mehr neue Funktionen die Anwender vor sich her. Viele kommen dabei gar nicht richtig zum Nachdenken. Möglicherweise ist das ja auch so gewollt….

Die Notwendigkeit, Open Source AI zu nutzen wird gerade im Hinblick auf die europäischen Rahmenbedingungen immer wichtiger. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich.

Hinzu kommt noch, dass es immer mehr länderspezifische KI-Modelle gibt, die den sprachlichen Kontext, und damit die sprachlichen Besonderheiten besser abbilden. Die wichtigsten LLM (Closed Source AI) sind mit englischsprachigen Daten trainiert und übersetzen dann in die jeweilige Sprache. Das klappt zwar recht gut, doch fehlt es gerade bei Innovationen, oder kulturellen regionalen Besonderheiten, an der genauen Passung.

Die spanische Verwaltung hat nun die Initiative ALIA gestartet, die 100% öffentlich finanziert ist, und eine KI-Ressource für alle Spanisch sprechenden Menschen sein soll. Dazu gehören auch frei verfügbare AI Modelle (LLM) (…)

“(…) to generate ethical and trustworthy AI standards, with open-source and transparent models, guaranteeing the protection of fundamental rights, the protection of intellectual property rights and the protection of personal data, and developing a  framework of best practices in this field (Vasquez in OSOR 2025).

“ALIA es una iniciativa pionera en la Unión Europea que busca proporcionar una infraestructura pública de recursos de IA, como modelos de lenguaje abiertos y transparentes, para fomentar el impulso del castellano y lenguas cooficiales -catalán y valenciano, euskera y gallego- en el desarrollo y despliegue de la IA en el mundo” (ALIA Website)

Es freut mich zu sehen, wie die einzelnen europäischen Regionen oder Länder Initiativen starten, die die europäischen, oder auch regionalen Besonderheiten berücksichtigen – und das alles auf Open Source Basis. Siehe dazu auch

Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data.