„GPTBot“, „ClaudeBot“, „PerplexityBot“ – diese sogenannten KI-Crawler kannte vor zwei Jahren kaum jemand, heute stehen sie in fast jeder SEO-Checkliste. Dazu kommt oft der dringende Rat, sofort eine „llms.txt“ einzurichten, weil sonst angeblich keine KI mehr über dein Unternehmen spricht. Was steckt wirklich dahinter, und musst du als kleiner Betrieb oder Verein aus Halle (Saale) und Umgebung jetzt aktiv werden? Die kurze Antwort: teilweise ja – aber anders, als die meisten Ratgeber es darstellen.
Was sind KI-Crawler überhaupt?
KI-Crawler sind automatisierte Programme großer KI-Anbieter, die deine Website besuchen. Dahinter stecken drei sehr unterschiedliche Zwecke, die du auseinanderhalten solltest, bevor du irgendetwas blockierst oder erlaubst.
Trainings-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic) oder CCBot (Common Crawl) sammeln Inhalte, um damit zukünftige KI-Modelle zu trainieren. Deine Texte fließen dabei dauerhaft in ein Sprachmodell ein, ohne dass du dafür etwas bekommst oder Einfluss auf die Nutzung hast.
Retrieval- beziehungsweise Such-Crawler wie OAI-SearchBot (ChatGPT Search), Claude-SearchBot oder PerplexityBot bauen dagegen einen aktuellen Index auf. Aus diesem Index generieren ChatGPT, Claude oder Perplexity ihre Antworten inklusive Quellenangabe und Link zu deiner Seite – das ist im Kern das, worum es bei Generative Engine Optimization (GEO) geht.
Die dritte Gruppe sind nutzerausgelöste Abrufe: Wenn jemand in ChatGPT oder einem KI-Browser schreibt „fass mir diese Seite zusammen“, ruft ein Bot wie ChatGPT-User oder Google-Agent genau diese eine Seite ab. Hier wird es technisch heikel, denn Google dokumentiert offen, dass solche nutzerausgelösten Fetcher robots.txt-Regeln häufig ignorieren, weil ein Mensch den Abruf ja aktiv angestoßen hat. Auch OpenAI weist inzwischen darauf hin, dass die robots.txt-Regeln für ChatGPT-User nicht immer greifen. Eine Ausnahme ist Anthropics Claude-User, der sich laut eigener Dokumentation weiterhin an robots.txt hält.
robots.txt: der Hebel, der tatsächlich funktioniert
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis deiner Domain (also unter deinedomain.de/robots.txt), die Crawlern mitteilt, welche Bereiche sie besuchen dürfen. Für die meisten KMU- und Vereinswebsites reicht eine kleine Ergänzung dieser Datei völlig aus, um zwischen Training und Sichtbarkeit zu unterscheiden. Ein praktischer Ausgangspunkt sieht so aus:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Damit sperrst du die reinen Trainings-Crawler aus, lässt aber die Bots durch, die deine Inhalte für aktuelle KI-Antworten nutzen. Google-Extended ist dabei kein eigener Crawler, sondern nur ein Opt-out-Schalter: Er entscheidet, ob von Googlebot bereits gecrawlte Inhalte zusätzlich für das Training von Gemini verwendet werden dürfen – auf dein Ranking in der normalen Google-Suche hat diese Einstellung keinen Einfluss.
Und llms.txt? Zwischen Hype und Wirklichkeit
Seit Ende 2024 kursiert die Idee einer „llms.txt“: eine Markdown-Datei im Hauptverzeichnis, die KI-Systemen die wichtigsten Seiten, Dokumente und Nutzungshinweise deiner Website in kompakter Form auflisten soll. Das klingt sinnvoll, ist aber Stand 2026 kein offiziell anerkannter Standard – weder von einem Gremium wie dem W3C verabschiedet, noch von einem der großen KI-Anbieter für den Abruf fremder Websites dokumentiert. Google benennt llms.txt in seinen eigenen Hinweisen zur KI-Suche sogar ausdrücklich als Maßnahme, die Website-Betreiber getrost ignorieren können: Für die Aufnahme in AI Overviews oder den KI-Modus gebe es keine zusätzlichen technischen Anforderungen. Schaden tut eine llms.txt in der Regel nicht, aber für die meisten Handwerksbetriebe, Kanzleien oder Vereinswebsites bringt sie derzeit keinen messbaren Mehrwert. Sinnvoller ist sie vor allem für dokumentationslastige Seiten und Software-Produkte mit vielen technischen Unterseiten.
Was heißt das für deine Sichtbarkeit in ChatGPT, Perplexity & Google AI Overviews?
Hier liegt der entscheidende Denkfehler vieler Ratgeber: Wer GPTBot oder ClaudeBot blockiert, verschwindet dadurch nicht aus ChatGPT oder Google AI Overviews. Die Sichtbarkeit in KI-Antworten hängt an den Retrieval-Crawlern und – bei Google – am ganz normalen Suchindex, den Google ohnehin schon über Googlebot aufbaut (mehr dazu in unserem Grundlagenartikel zu GEO für KMU). Du kannst also gezielt der Nutzung deiner Inhalte für fremdes KI-Training widersprechen, ohne deine Chancen zu verschlechtern, in einer KI-Antwort als Quelle genannt zu werden. Das eine hat mit dem anderen technisch schlicht wenig zu tun.
Pro und Contra: KI-Crawler zulassen oder blockieren?
Dafür spricht, Retrieval-Crawler zuzulassen:
- Sichtbarkeit in wachsenden Suchkanälen wie ChatGPT Search oder Perplexity, die gerade bei jüngeren Zielgruppen zunehmend statt Google genutzt werden.
- Kein zusätzlicher Aufwand: Die meisten Retrieval-Bots dürfen deine Seite ohnehin standardmäßig besuchen, solange du sie nicht aktiv aussperrst.
- Ein möglicher Wettbewerbsvorteil, wenn lokale Mitbewerber ihre gesamte Website pauschal für alle Bots sperren und damit auch aus KI-Antworten herausfallen.
Dagegen spricht, zumindest die Trainings-Crawler zu blockieren:
- Deine Inhalte fließen sonst dauerhaft und unvergütet in fremde Sprachmodelle ein, ohne dass du das rückgängig machen kannst.
- Ein vollständiger Schutz ist technisch nicht garantiert: Cloudflare hat dokumentiert, dass mindestens ein Anbieter zeitweise robots.txt-Regeln umgangen hat – robots.txt ist eine Bitte an seriöse Bots, keine technische Zugangssperre.
- Bei sehr kleinen Hosting-Paketen kann häufiger Crawler-Traffic die Serverlast spürbar erhöhen.
Woher weißt du, welche Bots deine Website überhaupt besuchen?
Bevor du etwas sperrst, lohnt ein kurzer Blick in die Realität. Viele Hosting-Pakete und WordPress-Sicherheits-Plugins protokollieren Zugriffe nach User-Agent, sodass du in den Server-Logs oder im Plugin-Dashboard erkennst, wie oft GPTBot, ClaudeBot oder PerplexityBot tatsächlich vorbeischauen. Nutzt du Cloudflare, zeigt dir der Bereich „Security“ beziehungsweise die KI-Crawler-Kontrollen sogar eine fertige Übersicht samt Ein-Klick-Sperrung für ganze Bot-Kategorien, ohne dass du die robots.txt von Hand pflegen musst. Für die meisten kleinen Websites reicht aber ein einmaliger Blick pro Quartal völlig aus – KI-Crawler ändern sich zwar regelmäßig, aber nicht wöchentlich.
Praktisches Vorgehen in vier Schritten
- robots.txt prüfen oder anlegen. Bei WordPress findest du sie unter deinedomain.de/robots.txt, viele SEO-Plugins wie Yoast bieten dafür einen eigenen Editor im Backend.
- Trainings-Crawler und Google-Extended nach eigenem Ermessen sperren. Das betrifft vor allem GPTBot, ClaudeBot, CCBot und den Google-Extended-Opt-out.
- Retrieval-Crawler ausdrücklich erlauben. OAI-SearchBot, Claude-SearchBot und PerplexityBot sollten Zugriff behalten, wenn du in KI-Suchergebnissen auftauchen willst.
- llms.txt nur bei konkretem Bedarf ergänzen, etwa bei umfangreicher Dokumentation – für die meisten KMU- und Vereinswebsites lohnt sich die Zeit eher in Content-Qualität und strukturierte Daten (siehe unser Artikel zu Schema.org für KMU).
Fallbeispiel: Eine Steuerkanzlei aus Halle (Saale)
Eine kleine, hier bewusst anonymisierte Steuerberatungskanzlei aus Halle (Saale) kam mit einer konkreten Sorge auf uns zu: Die Kanzlei wollte verhindern, dass interne Ratgebertexte und Mandanteninformationen unkontrolliert in fremde KI-Modelle einfließen, gleichzeitig aber weiterhin gefunden werden, wenn potenzielle Mandanten ChatGPT oder Google nach einem „Steuerberater in Halle“ fragen. Die Lösung war keine radikale Komplettsperrung, sondern genau die oben beschriebene Differenzierung: GPTBot, ClaudeBot und CCBot wurden über robots.txt für das Training gesperrt, OAI-SearchBot und PerplexityBot blieben ausdrücklich erlaubt. Ergänzt wurde das um ein FAQ-Snippet auf den wichtigsten Leistungsseiten. Nach eigener Rückmeldung der Kanzlei taucht sie seither regelmäßig auf, wenn Mandanten ihr berichten, sie hätten die Kanzlei über eine KI-Suche gefunden – bei gleichzeitig ruhigerem Gewissen in Sachen Trainingsdaten.
Fazit
Die meisten Panik-Ratgeber zu KI-Crawlern verwechseln zwei unterschiedliche Baustellen: die berechtigte Frage, wem du deine Inhalte fürs Training überlässt, und die ganz andere Frage, ob du in KI-Suchantworten sichtbar bist. Mit einer sauber gepflegten robots.txt kannst du beides getrennt steuern, ohne Entwicklerbudget und ohne dich von jedem neuen Buzzword treiben zu lassen. Eine llms.txt darfst du dir für später aufheben. Wenn du unsicher bist, wie deine Website aktuell für Google, ChatGPT & Co. aufgestellt ist, schauen wir uns das im Rahmen unserer GEO-Beratung gern gemeinsam mit dir an.
Häufig gestellte Fragen zu KI-Crawlern
Muss ich als kleines Unternehmen überhaupt etwas an meiner robots.txt ändern? Nein, ein akuter Handlungsdruck besteht nicht. Wenn dir egal ist, dass deine Inhalte auch für KI-Training genutzt werden, kannst du die Standardeinstellungen beibehalten. Möchtest du dem gezielt widersprechen, reicht eine kleine, einmalige Ergänzung der robots.txt.
Verliere ich Ranking bei Google, wenn ich KI-Crawler blockiere? Nein, solange du Googlebot selbst nicht blockierst. Google-Extended und die KI-Trainings-Crawler anderer Anbieter haben keinen Einfluss auf dein normales Google-Ranking, da sie technisch von der Websuche getrennt sind.
Lohnt sich eine llms.txt für meine Vereins- oder Firmenwebsite? Für die meisten kleinen Websites derzeit eher nicht. Da kein großer KI-Anbieter die Datei aktuell für den Abruf fremder Websites nutzt, investierst du die Zeit besser in gute Inhalte, saubere Struktur und strukturierte Daten.
