Google 크롤러를 중점으로 Cloudflare가 검색 엔진 크롤러에 대응하는 방식과 크롤링 오류를 해결하는 방법을 알아봅니다.
개요
Cloudflare는 검색 엔진 크롤러와 봇의 활동을 허용합니다. 크롤링에 문제가 생기거나 Cloudflare가 검색 엔진 크롤러나 봇에 추가 인증 질문을 하는 경우, 다음 가이드에 안내된 방법으로 문제를 해결하면서 수집한 정보와 함께 Cloudflare 지원팀으로 연락해주시기 바랍니다.
Google과 Bing의 크롤링 속도 조절
Google과 Bing은 CDN 성능을 최적화하기 위해 CDN 서비스를 적절하게 사용하는 웹 사이트에 특정한 크롤링 속도를 지정합니다. 특정한 크롤링 속도는 검색 엔진 최적화(SEO)와 검색 엔진 결과 페이지(SERP)에 부정적인 영향을 미치지 않습니다. 다음의 안내에 따라 Google과 Bing에서의 크롤링 속도를 변경할 수 있습니다.
- Google 문서를 참조해 Google 크롤링 속도를 변경합니다.
- 다음의 Bing 문서에 안내된 설명에 따라 Bing 크롤링 속도를 변경합니다.
크롤링 오류 방지
다음의 권장 사항을 참조해 크롤러 오류를 방지할 수 있습니다.
- 다음과 같은 타사 도구를 사용해 웹 사이트의 성능과 가용성을 모니터링합니다.
- Cloudflare Firewall 앱 내 방화벽 규칙이나 IP Access 규칙을 통해 Google 크롤러 IP 주소를 차단하지 마세요.
- Cloudflare Firewall 앱 내 방화벽 규칙이나 IP Access 규칙을 통해 미국을 차단하지 마세요.
- .htaccess, 서버 구성, robots.txt, 웹 애플리케이션에서 Google 사용자 에이전트나 Bing 사용자 에이전트를 차단하지 마세요.
- /cdn-cgi/ 디렉토리에서 파일 크롤링을 허용하지 마세요. 이 경로는 Cloudflare 내부에서 사용하는 경로로, Google이 이 경로를 크롤링하면 오류가 발생합니다. robots.txt를 통해 cdn-cgi 크롤링의 접근 허용을 차단할 수 있습니다.
Disallow: /cdn-cgi/
- robots.txt 파일이 애드센스 크롤러를 허용하도록 하세요.
- 서버 로그에서 원래 방문자 IP 주소를 복원하세요.
크롤링 오류 해결
아래에는 가장 일반적으로 발생하는 크롤링 오류의 문제 해결 단계가 설명되어 있습니다.
HTTP 4XX 오류
HTTP 4XX 오류는 가장 일반적인 유형의 크롤링 오류입니다. Cloudflare는 이러한 오류를 사용자의 웹 서버에서 Google로 전송합니다. 이러한 오류는 웹 서버에서 누락된 페이지, HTML 내의 잘못된 링크 등 다양한 원인으로 인해 발생하기 때문에 발생한 문제에 따라 해결 방법도 달라집니다.
HTTP 5XX 오류
HTTP 5XX 오류는 Cloudflare나 사용자의 원본 웹 서버에 내부 오류가 발생했다는 것을 의미합니다. 크롤링 오류와 사이트 중단의 연관성을 알아보려면 원본 웹 서버의 상태를 모니터링해야 합니다. Cloudflare와 원본 웹 서버 IP 양쪽 모두에서 웹 사이트의 상태를 모니터링하면 오류가 Cloudflare 때문에 발생했는지, 원본 웹 서버 때문에 발생했는지 확인할 수 있습니다.
DNS 오류
Cloudflare 도메인이 전체 설정을 통해 연결되었는지, CNAME 설정을 통해 연결되었는지에 따라 문제 해결 방법이 달라집니다. 도메인에서 사용하는 설정을 확인하려면 터미널을 열고 www.example.com을 사용자의 Cloudflare 도메인으로 변경해 다음의 명령을 실행하세요.
dig +short SOA www.example.com
CNAME으로 설정된 도메인의 경우, 응답 결과에 cdn.cloudflare.net이 포함되어 있습니다. 예를 들면 다음과 같습니다.
example.com.cdn.cloudflare.net.
전체 설정에 의한 도메인의 경우, 응답 결과에 표시된 이름 서버에 cloudflare.com 도메인이 포함되어 있습니다. 예를 들면 다음과 같습니다.
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
Cloudflare에서의 도메인 설정 방식을 확인했다면 도메인 설정에 맞는 문제 해결 단계를 진행하세요.
CNAME
호스팅 공급자에 연락해 DNS 오류를 조사하고 Google이 DNS 오류를 경험한 날짜 정보를 제공하세요. 추가로, Cloudflare 시스템 상태 페이지에서 Google이 오류를 경험한 날짜에 네트워크 중단이 있었는지 확인하세요.
전체 설정
Cloudflare 지원팀에 연락해 Google이 오류를 경험한 날짜와 시간 정보를 제공하세요.
문제 해결 지원 요청
위에 설명된 문제 해결 방법으로 크롤러 오류를 해결하지 못한다면, 아래의 단계를 따라 Google Search Console 대시보드에서 크롤링 오류를 .csv 파일로 내보내세요. 내보낸 .csv 파일은 Cloudflare 지원팀에 연락할 때 제출하면 됩니다.
- Google Search Console 계정에 로그인한 후 영향을 받은 도메인의 상태 섹션으로 이동합니다.
- 왼쪽 탐색 창에서 크롤링 오류를 클릭합니다.
- 다운로드를 클릭해 오류 목록을 .csv 파일로 내보냅니다.
- 다운로드한 .csv 파일을 Cloudflare 지원팀에 제공합니다.
관련 자료