KI-Crawler (GPTBot & Co.)

Wichtig zu unterscheiden: Trainings-Crawler sammeln Inhalte für das Training künftiger Modelle (z. B. GPTBot, Google-Extended). Such-Crawler holen Inhalte live, wenn ein Nutzer gerade eine Frage stellt (z. B. OAI-SearchBot, PerplexityBot, ChatGPT-User). Für die Sichtbarkeit in aktuellen KI-Antworten sind vor allem die Such-Crawler entscheidend — wer sie blockiert, kann nicht zitiert werden.

Die Steuerung erfolgt in der robots.txt pro Crawler-Name (User-Agent). Websites können also differenzieren: etwa Live-Suche erlauben, Training aber ausschließen — je nach Strategie.

Für die meisten Unternehmen überwiegt der Nutzen der Sichtbarkeit: KI-Crawler ausdrücklich zulassen, dazu llms.txt und strukturierte Daten bereitstellen. Ausnahmen sind Bereiche mit geschützten oder exklusiven Inhalten (Kundenportale, Bezahlinhalte) — die gehören ohnehin hinter Login, nicht nur hinter robots.txt, denn die robots.txt ist eine Bitte, kein technischer Schutz.

Ob KI-Systeme die eigene Website tatsächlich lesen, steht in den Server-Logs: Jeder Crawler identifiziert sich über seinen User-Agent-String (etwa "GPTBot", "ClaudeBot", "PerplexityBot"). Eine einfache Auswertung nach diesen Kennungen zeigt, welche Crawler wie oft kommen und welche Seiten sie abrufen. Das ist der ehrlichste Sichtbarkeits-Indikator, den es gibt: Eine Seite, die von Such-Crawlern regelmäßig live abgerufen wird, wird offenbar als Quelle für Nutzerfragen herangezogen.

Zwei praktische Hinweise: Erstens geben sich manche unseriöse Bots als bekannte Crawler aus — die großen Anbieter veröffentlichen deshalb die IP-Bereiche ihrer Crawler, gegen die man verdächtige Zugriffe abgleichen kann. Zweitens lohnt neben den Logs der Blick in die Web-Analytics: Referral-Traffic von chatgpt.com oder perplexity.ai zeigt Besucher, die aus einer KI-Antwort heraus auf die Website geklickt haben. Diese Besucher sind oft ungewöhnlich kaufbereit, weil sie mit einer konkreten, bereits vorqualifizierten Frage kommen.

Die Steuerung der KI-Crawler erfolgt in der robots.txt pro User-Agent — und genau hier passieren die häufigsten Fehler. Ein zu weit gefasstes Verbot blockiert versehentlich auch die Such-Crawler, die für die Sichtbarkeit in KI-Antworten entscheidend sind. Umgekehrt bringt ein Zulassen ins Leere nichts, wenn die betreffenden Seiten technisch gar nicht erreichbar sind — etwa weil Inhalte erst per JavaScript nachgeladen werden, das nicht jeder Crawler ausführt. Wichtig ist außerdem, die einzelnen KI-Crawler mit ihren korrekten Namen anzusprechen, statt sich auf eine pauschale Regel zu verlassen, denn Trainings- und Such-Crawler desselben Anbieters tragen oft unterschiedliche Bezeichnungen.

Weil Crawler-Namen und -Verhalten sich ändern, ist die robots.txt keine Datei, die man einmal schreibt und vergisst. Sinnvoll ist eine regelmäßige Kontrolle: Welche neuen KI-Crawler sind hinzugekommen, werden die gewünschten zugelassen, tauchen sie danach auch in den Server-Logs auf? Die Regeln sollten bewusst gesetzt und dokumentiert sein, damit bei einem Relaunch nicht versehentlich alle KI-Zugänge verloren gehen — ein Fehler, der die mühsam aufgebaute KI-Sichtbarkeit über Nacht kosten kann.