Darf ChatGPT unsere Seite lesen, und weiß davon überhaupt jemand bei uns?
KI-generiertes BildCloudflare und OpenAI melden einen Pilotversuch: Mit Signalen aus dem Cloudflare-Netz hat OpenAI Hunderte Millionen neue Seiten für die ChatGPT-Suche aufgenommen. Eine Zusage, dass Ihre Seite genannt wird, ist das nicht. Es zeigt aber, dass eine Datei auf Ihrer Seite entscheidet, ob ChatGPT sie lesen darf. Nachsehen dauert eine Viertelstunde.
Cloudflare und OpenAI haben am 15. Oktober gemeinsam Ergebnisse eines Pilotversuchs veröffentlicht, der im Juli begann. Mit Signalen aus dem Netz von Cloudflare hat OpenAI demnach Hunderte Millionen bisher unbekannte Seiten gefunden und in den Suchindex für ChatGPT aufgenommen. Beteiligt war eine Gruppe von rund einem Prozent des Cloudflare-Netzes. Search Engine Journal weist am 20. Oktober darauf hin, dass der Bericht weder nennt, wer teilgenommen hat, noch wie oft die neuen Seiten in ChatGPT zitiert wurden oder wie viele Besuche sie brachten.
Was für Seiten gemeint sind
Die Beispiele im Bericht klingen nach Betrieben: das Handbuch für ein bestimmtes Waschmaschinenmodell, die aktuellen Passgebühren, die Speisekarte und die Öffnungszeiten eines Restaurants. Solche Seiten können laut Cloudflare wertvoll sein, auch wenn kaum jemand auf sie verlinkt. Genau das trifft auf die Seite eines kleinen Betriebs zu. Wie lange selbst Google für eine neue Seite braucht, steht in Wie lange dauert es, bis Google unsere neue Seite findet?. Für einen Betrieb mit wenigen Links ist ein zusätzlicher Weg, gefunden zu werden, deshalb eher Chance als Gefahr.
Zugesagt ist damit nichts. OpenAI bewertet und sortiert die Seiten nach eigenen Angaben unabhängig, und der Bericht hält fest, dass ein Signal über eine Seite noch keine Erlaubnis zum Zugriff ist. Dazu kommt ein Nachteil: Neue Seiten können das Crawling zunächst erhöhen, was für Ihren Server mehr Last bedeutet.
Wer entscheidet, ob ChatGPT Ihre Seite lesen darf
Sie. OpenAI unterscheidet in der Beschreibung seiner Crawler zwischen OAI-SearchBot für die Suche in ChatGPT und GPTBot für das Training. Beide lassen sich in der Datei robots.txt getrennt erlauben oder sperren. Wer OAI-SearchBot sperrt, erscheint nicht in den Antworten der ChatGPT-Suche, kann aber als Link auftauchen. Nach einer Änderung braucht OpenAI laut eigener Angabe etwa 24 Stunden, bis die Systeme sie übernehmen.
Viele Betriebe haben diese Datei nie angesehen. Hoster, Baukasten oder Agentur haben sie angelegt. Welche Sperren dort oder davor sonst noch laufen, steht in Sperrt unser Bot-Schutz den KI-Assistenten unserer Kunden aus?. Ob sich die eigene Seite neben Portalen und Plattformen behauptet, behandelt Lohnt sich die eigene Webseite noch, wenn die Kunden ChatGPT fragen?
Eine Viertelstunde
- Hängen Sie an Ihre Adresse „/robots.txt“ an und öffnen Sie sie im Browser. Das geht ohne Zugang.
- Suchen Sie dort nach „OAI-SearchBot“ und „GPTBot“. Steht bei OAI-SearchBot „Disallow: /“, ist Ihre Seite für die ChatGPT-Suche gesperrt. Fehlt der Name, gilt in der Regel der Block „User-agent: *“.
- Entscheiden Sie, was Sie wollen: gefunden werden dürfen, Training ja oder nein. Beides lässt sich getrennt einstellen.
- Fragen Sie Ihren Hoster oder Betreuer, ob Cloudflare vor Ihrer Seite liegt. Wenn ja, zeigt dessen „AI Crawl Control“ laut Cloudflare, welche KI-Dienste zugreifen. Es steht nach Cloudflare in jedem Tarif zur Verfügung.
Wo OctoPages hilft
Bei OctoPages gehören Seite und Domain Ihnen. Welche Regel für Crawler gilt, entscheiden damit Sie und kein Plattformbetreiber. Die Firmenangaben stehen maschinenlesbar auf der Seite, dazu eine Datei, die KI-Assistenten den Inhalt zusammenfasst, und die Seite wird bei Google und Bing angemeldet. Dass ChatGPT Ihren Betrieb nennt, können wir nicht zusagen. Dass Sie es nicht aus Versehen selbst ausgesperrt haben, lässt sich in einer Viertelstunde klären.
Häufige Fragen
Was haben Cloudflare und OpenAI am 15. Oktober gemeldet?
Cloudflare und OpenAI berichten über einen Pilotversuch seit Juli. Mit Signalen aus dem Cloudflare-Netz, etwa zur Aktualität von Seiten, hat OpenAI Hunderte Millionen neue Seiten gefunden und in den Suchindex für ChatGPT aufgenommen. Beteiligt war eine Gruppe von rund einem Prozent des Netzes.
Heißt das, dass ChatGPT meine Seite nennt?
Nein. Nach Angaben der Unternehmen bewertet und sortiert OpenAI die Seiten unabhängig. Der Bericht nennt weder, wie oft die neuen Seiten in ChatGPT zitiert wurden, noch wie viele Besuche sie brachten. Gefunden zu sein ist eine Voraussetzung, keine Zusage.
Was ist der Unterschied zwischen OAI-SearchBot und GPTBot?
OAI-SearchBot sucht Seiten für die Antworten der ChatGPT-Suche. GPTBot sammelt Inhalte, die zum Training von Modellen verwendet werden können. Beide lassen sich in der robots.txt unabhängig voneinander erlauben oder sperren. So kann eine Seite in der Suche erscheinen und trotzdem vom Training ausgenommen sein.
Wie sehe ich, ob meine Seite für ChatGPT gesperrt ist?
Öffnen Sie Ihre Adresse mit angehängtem „/robots.txt“ im Browser und suchen Sie nach „OAI-SearchBot“. Steht dort „Disallow: /“, ist die Seite für die ChatGPT-Suche gesperrt. Zusätzlich kann ein Bot-Schutz vor der Seite Anfragen abweisen, das sehen Sie nur mit Ihrem Hoster.
Wie schnell wirkt eine Änderung der robots.txt?
OpenAI gibt an, dass es etwa 24 Stunden dauern kann, bis seine Systeme eine geänderte robots.txt für die Suche übernehmen. Planen Sie also einen Tag ein, bevor Sie prüfen, ob sich etwas verändert hat. Ob ChatGPT Ihre Seite danach nennt, ist damit nicht gesagt.
Redaktionell geprüft und verantwortet von Alvaro Moreno. Bei der Recherche und beim Entwurf haben wir KI-Werkzeuge eingesetzt.
