Crawlers IA et llms.txt : permettez aux assistants IA de lire votre site
Les assistants IA parcourent le web avec leurs propres robots d'indexation (crawlers). Vous décidez s'ils peuvent lire votre site dans votre fichier robots.txt. De nombreux sites les bloquent involontairement, par exemple à cause d'un paramètre chez leur hébergeur.
Les principaux crawlers
Voici quelques noms que vous pouvez rencontrer dans votre robots.txt :
- GPTBot et OAI-SearchBot d'OpenAI (ChatGPT)
- ClaudeBot d'Anthropic (Claude)
- PerplexityBot de Perplexity
- Google-Extended, qui permet de choisir si Google peut utiliser votre contenu pour ses modèles d'IA
- Googlebot et Bingbot pour les moteurs de recherche traditionnels
Autoriser ou bloquer
Si vous souhaitez être mentionné dans les réponses des IA, autorisez ces crawlers de recherche. Vous pouvez faire votre choix au cas par cas. Vérifiez également les paramètres de pare-feu ou de protection contre les bots chez votre hébergeur : ils bloquent parfois tout ce qui n'est pas un visiteur humain standard.
Qu'est-ce que llms.txt ?
Le fichier llms.txt est une proposition de fichier placé à la racine de votre site, contenant un résumé court et lisible pour les modèles d'IA : qui vous êtes et quelles sont vos pages essentielles. Ce n'est pas (encore) un standard officiel et tous les assistants ne l'utilisent pas. Cela ne peut pas faire de mal, mais cela ne remplace en rien des pages web bien conçues.
Questions fréquentes
- Comment savoir si mon site bloque les crawlers IA ?
- Ouvrez votresite.fr/robots.txt et vérifiez la présence des noms listés ci-dessus. L'analyse de site web de Magnifi vérifie également ce point automatiquement.