Découvrez comment Cloudflare interagit avec les robots d’indexation des moteurs de recherche (en particulier Google) et comment dépanner les erreurs d'indexation.
Présentation
Cloudflare a mis en place des listes blanches des robots d'indexation et des bots des moteurs de recherche. Si vous constatez des problèmes d'indexation ou des tests Cloudflare présentés au robot d'indexation ou au bot d'un moteur de recherche, contactez le support Cloudflare en fournissant les informations recueillies lors du dépannage des erreurs d'indexation par le biais des méthodes exposées dans ce guide.
Réglez les fréquences d'indexation de Google et Bing
Pour optimiser les performances CDN, Google et Bing attribuent des fréquences d'indexation spéciales aux sites web qui utilisent les services CDN dans l'ordre. Les fréquences d'indexation spéciales n'affectent pas négativement l'optimisation pour les moteurs de recherche (SEO) et les pages de résultats des moteurs de recherche (SERP). Pour modifier vos fréquences d'indexation pour Bing et Google, procédez comme indiqué dans les guides ci-dessous :
- Consultez la documentation de Google pour savoir comment modifier la fréquence d'indexation de Google.
- Consultez la documentation de Bing pour savoir comment modifier la fréquence d'indexation de Bing.
Éviter les erreurs d'indexation
Lisez les recommandations suivantes pour éviter les erreurs liées aux robots d'indexation :
- Surveillez la performance et la disponibilité de votre site web à l'aide d'un outil tiers :
- Ne bloquez pas les adresses IP des robots d'indexation Google via Firewall Rules ou IP Access Rules dans l’application Firewall de Cloudflare.
- Ne bloquez pas les États-Unis via Firewall Rules ou IP Access Rules dans l’application Firewall de Cloudflare.
- Ne bloquez pas les agents Utilisateur de Google ou de Bing dans votre fichier .htaccess, votre configuration de serveur, votre fichier robots.txt ou votre application web.
- N’autorisez pas l’indexation des fichiers du répertoire /cdn-cgi/. Ce chemin est utilisé en interne par Cloudflare et Google rencontrera des problèmes lors de son indexation. Empêchez l’indexation de cdn-cgi via robots.txt :
Empêcher : /cdn-cgi/
- Vérifiez que votre fichier robots.txt autorise le robot d'indexation AdSense.
- Restaurez les adresses IP d’origine des visiteurs dans vos journaux de serveur.
Dépannez les erreurs d'indexation
Les étapes pour le dépannage des erreurs d’indexation les plus courantes sont répertoriées ci-dessous :
Erreurs HTTP 4XX
Les erreurs HTTP 4XXsont les erreurs d’indexation les plus courantes. Cloudflare délivre ces erreurs à Google à partir de votre serveur web. Ces erreurs peuvent être causées par diverses raisons telles qu’une page manquante sur votre serveur web ou par un lien incorrectement formé dans votre HTML. La solution dépendra du problème rencontré.
Erreurs HTTP 5XX
Les erreurs HTTP 5XX indiquent que Cloudflare ou votre serveur web a rencontré une erreur interne. Pour établir une corrélation entre les erreurs d'indexation et les pannes du site, surveillez l'état de santé de votre serveur web d'origine. En surveillant l’état de santé de votre site web à la fois par le biais de Cloudflare et directement au niveau des adresses IP de votre serveur web d'origine, il est possible de déterminer si les erreurs sont dues à Cloudflare ou à votre serveur web d'origine.
Erreurs de DNS
Les étapes de dépannage varient selon que votre domaine est sur Cloudflare via une configuration Full ou CNAME. Pour vérifier la configuration utilisée par votre domaine, ouvrez un terminal et exécutez la commande suivante (en remplaçant www.exemple.com par votre nom de domaine Cloudflare) :
dig +short SOA www.exemple.com