Conoce cómo Cloudflare interactúa con los rastreadores de motor de búsqueda (particularmente de Google) y cómo resolver problemas de errores de rastreo.
Descripción
Cloudflare incluye en lista blanca los rastreadores y bots de los motores de búsqueda. Si observas problemas de rastreo o controles de Cloudflare en el bot o rastreador del motor de búsqueda, contacta a asistencia de Cloudflare y brinda la información que has reunido para solucionar los errores de rastreo a través de los métodos que se describen en esta guía.
Ajustar los índices de rastreo de Google y Bing
Para optimizar el funcionamiento de CDN, Google y Bing asignan índices de rastreo especiales a los sitios web que usan los servicios de CDN en orden. Los índices de rastreo especiales no afectan de manera negativa la optimización del motor de búsqueda (SEO) y las páginas de resultados del motor de búsqueda (SERP). Para cambiar los índices de rastreo para Bing y Google, sigue la guía a continuación:
- Para cambiar el índice de rastreo de Google, revisa la documentación de Google.
- Para cambiar el índice de rastreo de Bing, sigue la guía de la documentación de Bing:
Prevenir los errores de rastreo
Revisa las siguientes recomendaciones para prevenir los errores de rastreo:
- Supervisa el funcionamiento y la disponibilidad de tu sitio web con una herramienta de terceros:
- No bloquear las direcciones IP del rastreador de Google mediante las Reglas del Firewall o las Reglas de Acceso de IP en la aplicación del Firewall de Cloudflare.
- No bloquear Estados Unidos mediante las Reglas del Firewall o las Reglas de Acceso de IP en la aplicación del Firewallde Cloudflare.
- No bloquear los agentes-usuarios de Google o Bing en la configuración de tu servidor, .htaccess, robots.txt o la aplicación web.
- No permitas el rastreo de archivos en el directorio /cdn-cgi/. Cloudflare utiliza esta ruta de forma interna y Google encuentra errores al rastrearla. Anular los rastreos de cdn-cgi mediante archivos robots.txt:
Anular: /cdn-cgi/
- Verifica que tus archivos robots.txt admitan el rastreador de AdSense.
- Restablece las direcciones IP original del visitante en tus registros de servidor.
Solucionar los errores de rastreo
A continuación se incluyen los pasos para la resolución de los errores de rastreo más habituales.
Errores de HTTP 4XX
Los errores de HTTP 4XX son los errores de rastreo más comunes. Cloudflare genera estos errores desde tu servidor web a Google. Estos errores ocurren por varias razones, como una página faltante en tu servidor web o un enlace con el formato incorrecto en tu HTML. La solución dependerá del problema que se encuentre.
Errores HTTP 5XX
Los errores HTTP 5XX indican que Cloudflare o tu servidor web de origen han tenido un error interno. Para correlacionar las incidencias de errores de rastreo con las interrupciones del sitio, monitorea el estado de tu servidor web de origen. Monitorea el estado de tu sitio web a través de Cloudflare y a través de la dirección IP de tu servidor web de origen para determinar si los errores ocurrieron debido a Cloudflare o a tu servidor web de origen.
Errores de DNS
Los pasos para la resolución de problemas varían si tu dominio está en Cloudflare a través de una configuración CNAME o Full. Para verificar qué configuración usa tu dominio, abre una terminal y ejecuta el siguiente comando( reemplaza www.example.com por tu dominio de Cloudflare):
dig +short SOA www.example.com
Para dominios con una configuración CNAME, la respuesta del resultado contiene cdn.cloudflare.net. Por ejemplo:
example.com.cdn.cloudflare.net.
Para dominios con una configuración Full, la respuesta del resultado contiene el dominio cloudflare.com en los servidores de nombre de la lista. Por ejemplo:
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
Una vez que confirmas cómo está configurado tu dominio con Cloudflare, sigue con los pasos para la resolución de problemas que correspondan para la configuración de tu dominio.
CNAME
Contacta a tu proveedor de alojamiento para investigar los errores de DNS y suministra la fecha en la que Google encontró los errores de DNS. Además, revisa la página Estado del sistema de Cloudflare y observa si ha habido interrupciones de red en la fecha en que Google encontró los errores.
Full
Contacta a asistencia de Cloudflare y suministra la fecha y la hora en que Google encontró los errores.
Cómo solicitar asistencia para la resolución de problemas
Si los pasos para la resolución de problemas que se mencionan anteriormente no resuelven los errores de rastreo, sigue los pasos a continuación para exportar los errores de rastreo como archivo .csv desde el panel de control de herramientas de Google Webmaster. Incluye este archivo .csv cuando te contactes con la asistencia de Cloudflare.
- Inicia sesión en la cuenta de Herramientas de Google Webmaster y ve a la sección Health (Estado) del dominio afectado.
- Haz clic en Crawl Errors (Rastrear errores) en la parte izquierda de la navegación.
- Haz clic en Download (Descargar) para exportar la lista de errores como archivo .csv.
- Proporciona el archivo .csv descargado a asistencia de Cloudflare.
Recursos relacionados
Documentación de Google sobre errores de rastreo y resolución de problemas