AI-Crawler und llms.txt: Lassen Sie KI-Assistenten Ihre Website lesen
KI-Assistenten lesen das Web mit eigenen Crawlern. Ob sie Ihre Website lesen dürfen, bestimmen Sie in Ihrer robots.txt. Viele Websites blockieren sie versehentlich, zum Beispiel durch eine Voreinstellung ihres Hosting-Anbieters.
Die wichtigsten Crawler
Einige Namen, die Ihnen in Ihrer robots.txt begegnen können:
- GPTBot und OAI-SearchBot von OpenAI (ChatGPT)
- ClaudeBot von Anthropic (Claude)
- PerplexityBot von Perplexity
- Google-Extended, womit Sie festlegen, ob Google Ihre Inhalte für seine KI-Modelle nutzen darf
- Googlebot und Bingbot für die herkömmlichen Suchmaschinen
Zulassen oder blockieren
Wenn Sie in KI-Antworten erwähnt werden möchten, sollten Sie die Such-Crawler zulassen. Sie können dies für jeden Crawler individuell entscheiden. Prüfen Sie auch Firewall- oder Bot-Schutzeinstellungen bei Ihrem Webhoster; diese blockieren mitunter alles, was kein normaler Besucher ist.
Was ist llms.txt?
llms.txt ist eine vorgeschlagene Textdatei im Hauptverzeichnis Ihrer Website mit einer kurzen, gut lesbaren Zusammenfassung für KI-Modelle: wer Sie sind und welche Seiten besonders wichtig sind. Es handelt sich dabei (noch) um keinen offiziellen Standard und nicht alle Assistenten nutzen diese Datei. Sie schadet keinesfalls, ersetzt jedoch keine hochwertigen Website-Inhalte.
Häufige Fragen
- Wie erfahre ich, ob meine Website AI-Crawler blockiert?
- Öffnen Sie ihredomain.de/robots.txt im Browser und suchen Sie nach den oben genannten Namen. Der Website-Scan von Magnifi überprüft dies ebenfalls automatisch.