DCom Systems

Technik

Können wir bald mit einer Zeile allen KI-Anbietern das Training verbieten?

Stand · von Alvaro Moreno

Drei Kollegen in einer Steuerkanzlei lesen gemeinsam eine lange Textdatei am Monitor, eine Kollegin zeigt auf eine Zeile (KI-generiert)KI-generiertes Bild

Google hat am 30. Oktober angekündigt, 2027 einen gemeinsamen Eintrag in der robots.txt zu unterstützen, mit dem Sie das KI-Training für mehrere Anbieter auf einmal ausschließen können. Microsoft und OpenAI planen Ähnliches. Heute beachtet ihn keiner. Wichtig ist jetzt eine Frist von Microsoft im Dezember und eine Stunde Nachsehen.

Google hat am 30. Oktober angekündigt, eine gemeinsame Einstellung für das KI-Training in der Datei robots.txt zu unterstützen. Statt für jeden Anbieter eine eigene Regel zu pflegen, soll ein Eintrag bei mehreren gelten. Das Search Engine Journal berichtet am 1. November, dass auch Microsoft und OpenAI planen, den Eintrag zu beachten. Der Vorschlag stammt von einem Mitarbeiter von Anthropic und liegt als Entwurf bei einer Arbeitsgruppe der Internetnormung (IETF). Ein Standard ist er nicht.

Was heute gilt und was erst kommt

Heute beachtet keiner der drei den neuen Eintrag. Google nennt das Jahr 2027. Er sieht so aus: eine Regelgruppe mit dem Namen „__usage_ai-training“, darunter „Disallow: /“. Wer nichts einträgt, äußert damit keinen Wunsch, und das gilt für jede heute veröffentlichte robots.txt. Die Zeile „User-Agent: *“ erfasst den neuen Eintrag nie, und er regelt nicht, ob eine Seite gelesen werden darf, sondern nur, ob sie zum Training dienen darf.

Wo es für Sie vor 2027 eng wird

Microsoft ersetzt die Anweisungen „NoArchive“ und „NoCache“ durch zwei neue Einstellungen, eine für Training und eine für die Antworten der KI. Ab dem 1. Februar 2027 beachtet Microsoft die neuen, nach dem 1. März 2027 gelten die alten nicht mehr. Wer die alten Anweisungen auf seiner Seite hat und aus den Antworten bleiben will, muss ab dem 15. Dezember in den Bing Webmaster Tools eine vorläufige Einstellung setzen. Seiten ohne Einstellung dürfen danach für Antworten genutzt werden. Microsoft nennt den Preis selbst: Jede dieser Sperren schränkt die Sichtbarkeit in KI-Antworten ein. In der Bing-Suche bleiben Sie gelistet.

Zwei Fragen, die keine Technik sind

Soll Ihr Text Trainingsstoff für KI-Modelle sein? Und soll er in Antworten vorkommen? Bei Google hängen beide zusammen: Wer „Google-Extended“ ausdrücklich erlaubt, kommt für Antworten in den Gemini-Apps in Frage. Die Google-Suche selbst ist davon nicht berührt. Eine Sperre für alles trifft deshalb auch den Weg zu neuen Kunden.

Eine Stunde Nachsehen

Wo OctoPages hilft

Bei OctoPages gehören Ihnen Seite und Domain, und was in der robots.txt steht, entscheiden Sie und kein Plattformbetreiber. Ob Ihr Betrieb in KI-Antworten genannt wird, können wir nicht zusagen. Dass Sie Ihre Einstellung kennen und selbst gewählt haben, lässt sich vorher klären.

Häufige Fragen

Was hat Google am 30. Oktober 2026 angekündigt?

Google hat angekündigt, 2027 einen gemeinsamen Eintrag in der robots.txt zu unterstützen, mit dem Websites ihren Wunsch zum KI-Training bei mehreren Anbietern auf einmal äußern. Sperrt eine Seite das Training damit und nennt Google-Extended nicht, behandelt Google das, als wäre Google-Extended gesperrt.

Gilt der neue Eintrag schon?

Nein. Nach dem Bericht des Search Engine Journal vom 1. November beachtet ihn heute keiner der drei Anbieter Google, Microsoft und OpenAI. Google nennt für die Unterstützung das Jahr 2027. Der Vorschlag ist ein Entwurf einer Arbeitsgruppe und kein Standard.

Was ändert sich bei Microsoft zum 15. Dezember und 1. März?

Microsoft ersetzt NoArchive und NoCache durch neue Einstellungen für Training und Antworten. Ab dem 15. Dezember öffnet in den Bing Webmaster Tools eine vorläufige Einstellung für Seiten, die die alten Anweisungen nutzen. Nach dem 1. März 2027 erkennt Microsoft die alten Anweisungen dafür nicht mehr.

Verschwinde ich aus der Google-Suche, wenn ich das KI-Training sperre?

Nach Googles Dokumentation beeinflusst Google-Extended die Aufnahme in die Google-Suche nicht. Eine Sperre kann aber verhindern, dass Ihre Seite in den Antworten der Gemini-Apps vorkommt. Auch Microsoft schreibt, dass seine Sperren die Sichtbarkeit in KI-Antworten einschränken, nicht die Bing-Suche.

Wie finde ich heraus, was auf meiner Seite eingestellt ist?

Hängen Sie an Ihre Adresse „/robots.txt“ an und suchen Sie dort nach GPTBot und Google-Extended. Im Quelltext der Startseite suchen Sie nach noarchive und nocache. Wer die Einträge angelegt hat, wissen oft Hoster oder Betreuer. Notieren Sie, was Sie finden, und entscheiden Sie dann bewusst.

Redaktionell geprüft und verantwortet von Alvaro Moreno. Bei der Recherche und beim Entwurf haben wir KI-Werkzeuge eingesetzt.

Weitere Beiträge

Alle Beiträge