AI-crawlers en llms.txt: laat AI-assistenten je site lezen
AI-assistenten lezen het web met eigen crawlers. Of ze jouw site mogen lezen, bepaal je in je robots.txt. Veel sites blokkeren ze per ongeluk, bijvoorbeeld door een instelling van hun hostingpartij.
De belangrijkste crawlers
Een paar namen die je in je robots.txt kunt tegenkomen:
- GPTBot en OAI-SearchBot van OpenAI (ChatGPT)
- ClaudeBot van Anthropic (Claude)
- PerplexityBot van Perplexity
- Google-Extended, waarmee je bepaalt of Google je inhoud voor zijn AI-modellen mag gebruiken
- Googlebot en Bingbot voor de gewone zoekmachines
Toelaten of blokkeren
Wil je genoemd worden in AI-antwoorden, laat de zoek-crawlers dan toe. Je kunt per crawler kiezen. Controleer ook firewall- of botbeschermingsinstellingen bij je hosting; die blokkeren soms alles wat geen gewone bezoeker is.
Wat is llms.txt?
llms.txt is een voorgesteld bestand in de hoofdmap van je site met een korte, leesbare samenvatting voor AI-modellen: wie je bent en welke pagina's belangrijk zijn. Het is (nog) geen officiële standaard en niet alle assistenten gebruiken het. Het kan geen kwaad, maar het vervangt geen goede pagina's.
Veelgestelde vragen
- Hoe weet ik of mijn site AI-crawlers blokkeert?
- Open jouwsite.nl/robots.txt en zoek naar de namen hierboven. De websitescan van Magnifi controleert dit ook.