Cloudflareがどのように（特にGoogleの）サーチエンジンクローラーと作用し合うのか、クロール エラーのトラブルシューティングの方法について説明します。
概要
Cloudflareは、サーチエンジンクローラーとボットをホワイトリストに設定します。クロールに関する問題やCloudflareチャレンジがサーチエンジンクローラーやボットに提示されたことが分かったら、このガイドで説明された方法を介してクロール エラーをトラブルシューティングした時に収集した情報とともに、Cloudflareサポートに連絡してください。
GoogleとBingクロール レートの調整
CDN機能を最適化するには、GoogleとBingが特別なクロール レートをCDNサービスを順番に利用するWebサイトに割り当ててください。特別なクロール レートが、サーチエンジン最適化(SEO)とサーチエンジン結果ページ(SERP)に悪影響を及ぼすことはありません。BingとGoogleのクロール レートを変更するには、以下のガイドに従ってください：
- Googleのドキュメントを確認して、Google クロール レートを変更します。
- Bingクロール レートは、Bingのドキュメントのガイダンスを介して変更してください：
クロール エラーを回避する
次の推奨事項を確認し、クローラーエラーを防ぐ：
- サードパーティのツールを用いて、Webサイトのパフォーマンスと可動性をモニタリングします：
- ファイアウォールルールを介してGoogle クローラーIPアドレスをブロックしない。またはCloudflareのファイアウォールアプリ内でIP アドレスルールをブロックしないでください。
- ファイアウォールルール経由で、またはCloudflareファイアウォールアプリ内でIP アクセスルール経由で米国をブロックしないでください。
- GoogleまたはBingUser-Agentを.htaccessでサーバー設定、robots.txt、またはWebアプリケーションでブロックしないでください。
- /cdn-cgi/ディレクトリでファイルのクローリングを許可しないでください。このパスは、Cloudflareによって内部的に使用されるもので、クローリング発生時にGoogleにエラーが起こります。robots.txtを介したcdn-cgiのクローリングをDisallowする：
Disallow: /cdn-cgi/
- robots.txt file がAdSense クローラーを許可していることを確認してください。
- サーバーログで、オリジナル訪問者IPアドレスを復元します。
クロール エラーのトラブルシューティング
最もよく報告されているクロール エラーに対するトラブルシューティング手順は、以下の通りです。
HTTP 4XX エラー
HTTP 4XX エラーは、クロール エラーの中で最もよくあるタイプです。Cloudflareは、あなたのWebサーバーからGoogleにこうしたエラーを配信します。Webサーバーでページが見つからない、またはHTMLでリンクが正常に機能しないなど、様々な原因のエラーを引き起こします。解決策は、発生した問題によって異なります。
HTTP 5XX エラー
HTTP 5XX エラーは、CloudflareまたはあなたのオリジンWebサーバー で内部エラーが発生したことを示しています。クロールエラーの発生とサイト停止を関連付けるために、オリジンWebサーバー の正常性を監視します。Cloudflareを通じた場合も直接あなたのオリジンWebサーバー IPを通じてた場合も、Webサイトの正常性を監視することで、CloudflareかオリジンWebサーバー が原因でエラーが起きたのかどうか判断されます。
DNSエラー
あなたのドメインがCloudflareにあるのか、FullまたはCNAME設定を介しているのかによってトラブルシューティングの手順が違ってきます。あなたのドメインが使うセットアップがどれなのかを確認するために、ターミナルを開き、次のコマンドを実行してください。（www.example.com をご利用中のCloudflareドメインに置き換えてください）
dig +short SOA www.example.com
CNAME設定のドメインに関しては、結果応答にcdn.cloudflare.net. が含まれます。例：
example.com.cdn.cloudflare.net.
Fullセットアップのドメインに関して、結果応答は一覧化されたネームサーバーにあるcloudflare.com ドメインを含んでいます。例：
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
ドメインがどのようにCloudflareとセットアップされたかを確認したら、ドメインのセットアップに適したトラブルシューティング手順を進めてください。
CNAME
ホスティングプロバイダーに連絡をして、DNSエラーの調査をし、GoogleにDNSエラーが発生した日付を提示します。さらに、Googleでエラーが発生した日付のネットワーク障害に関するCloudflare システムステータスを確認してください。
Full
Cloudflareサポートに連絡を入れ、Googleがエラーを認識した日付と時間を提示してください。
トラブルシュートのサポートを依頼する
上記のトラブルシューティング手順がクロール エラーの解決にならない場合、次の手順に従ってエラーをGoogleGoogle Webマスターツールからの.csvファイル としてエクスポートしてください。Webマスターツールからの.csvファイル としてエクスポートしてください。この.csv ファイルを含めるのは、Cloudflareサポートに連絡する時です。
- Googleウェブマスターツールアカウントにログインし、影響を受けたドメインのヘルスセクションに移動してください。
- 左側ナビゲーションにあるクロール エラー(Crawl Errors)をクリックしてください。
- ダウンロードするをクリックして、.csv ファイルとしてのエラー一覧をエキスポートします。
- ダウンロード済みの.csv ファイルをCloudflare サポートに提供します。
関連リソース
クロール エラーとトラブルシューティングに関する Googleの文書化