robots.txt für alle wichtigen Bots
Für jeden Bot einzeln: Darf er deine Startseite lesen, sind nur einzelne Bereiche gesperrt oder ist er ganz ausgeschlossen? Gruppiert nach KI-Suche, Abrufen auf Nutzerwunsch, KI-Training und klassischer Websuche.
Kostenloser KI-Crawler-Check
Dürfen ChatGPT, Claude & Perplexity deine Website lesen?
CiteBoost wertet deine robots.txt für 47 KI- und Such-Bots aus, ruft deine Startseite mit den echten Kennungen von GPTBot, ClaudeBot und PerplexityBot ab und prüft, ob eine llms.txt vorhanden ist. Ohne Anmeldung, in wenigen Sekunden.
Was geprüft wird
Echter Zugangstest
Viele Firewalls und CDNs sperren KI-Bots, obwohl die robots.txt sie erlaubt. Wir rufen deine Startseite deshalb wirklich mit den Kennungen von GPTBot, ClaudeBot und PerplexityBot ab.
llms.txt
Ob deine Website eine llms.txt anbietet – eine kurze Übersicht deiner wichtigsten Seiten für KI-Systeme.
Text ohne JavaScript
KI-Crawler führen meist kein JavaScript aus. Wir zählen, wie viel Text deine Startseite ohne JavaScript liefert.
Häufige Fragen
Warum ist das wichtig?
ChatGPT, Claude, Perplexity und andere KI-Assistenten können nur Inhalte zitieren und empfehlen, die ihre Crawler lesen dürfen. Eine einzige Zeile in der robots.txt oder eine Firewall-Regel kann deine Website für sie unsichtbar machen.
Was ist der Unterschied zwischen KI-Suche und KI-Training?
Such-Bots wie OAI-SearchBot oder PerplexityBot holen Inhalte für Antworten mit Quellenangabe – wer sie sperrt, wird dort nicht zitiert. Trainings-Bots wie GPTBot oder Google-Extended sammeln Texte zum Trainieren von KI-Modellen. Viele Websites erlauben die Suche und sperren das Training.
Was bedeutet „teilweise gesperrt“?
Für diesen Bot gibt es in der robots.txt eigene Regeln, die einzelne Bereiche sperren – die Startseite ist erlaubt. Sperren, die für alle Bots gelten (zum Beispiel /wp-admin), zählen nicht dazu; sie zeigen wir getrennt.
Was passiert mit meinen Daten?
Wir speichern das Ergebnis 5 Tage, damit du den Report öffnen und teilen kannst. Danach wird er automatisch gelöscht – auch eine E-Mail-Adresse, an die du ihn geschickt hast. Nur wenn du Tipps & Neuigkeiten ausdrücklich bestätigst, behalten wir deine Adresse bis zur Abmeldung.
Prüft ihr meine ganze Website?
Der Gratis-Check betrachtet die Startseite und die Dateien robots.txt und llms.txt. In der App prüfst du jede einzelne Seite mit und ohne JavaScript und siehst, welche KI-Bots deine Website tatsächlich besuchen.