Hier erfahren Sie, wie Cloudflare mit Suchmaschinen-Crawlern (insbesondere von Google) interagiert und wie Crawling-Fehler behoben werden.
Übersicht
Cloudflare setzt Suchmaschinen-Crawler und -Bots auf Whitelists. Wenn Sie Crawling-Probleme oder Cloudflare-Challenges für den Suchmaschinen-Crawler oder -Bot beobachten, sollten Sie den Cloudflare-Support kontaktieren und dabei die Informationen angeben, die Sie bei der Behebung der Crawling-Fehler mit den in dieser Anleitung beschriebenen Methoden sammeln.
Einstellung der Crawling-Frequenz für Google und Bing
Um die CDN-Performance zu optimieren, weisen Google und Bing Websites, die CDN-Dienste nutzen, spezielle Crawling-Frequenzen zu. Spezielle Crawling-Frequenzen wirken sich nicht nachteilig auf die Suchmaschinenoptimierung (SEO) und die-Ergebnisseiten von Suchmaschinen (SERPs) aus. Befolgen Sie die nachstehenden Richtlinie, um Ihre Crawling-Frequenzen für Bing und Google zu ändern:
- Um die Crawling-Frequenz für Google zu ändern, sollten Sie die Google-Dokumentation durchsehen.
- Zur Änderung Ihrer Crawling-Frequenz für Bing finden Sie Hilfe in der Bing-Dokumentation:
Verhinderung von Crawling-Fehlern
Gehen Sie die folgenden Empfehlungen zur Verhinderung von Crawler-Fehlern durch:
- Überwachen Sie die Performance und Verfügbarkeit Ihrer Website mit dem Tool eines Drittanbieters:
- Blockieren Sie IP-Adressen von Google-Crawlern nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.
- Blockieren Sie die USA nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.
- Blockieren Sie User-Agents von Google oder Bing nicht in .htaccess, Ihrer Serverkonfiguration, robots.txt oder der Web-Applikation.
- Lassen Sie kein Crawling von Dateien im /cdn-cgi/-Verzeichnis zu. Dieser Pfad wird intern von Cloudflare verwendet, und Google stößt bei seinem Crawling auf Fehler. Lassen Sie kein Crawling von cdn-cgi über robots.txt zu:
Disallow: /cdn-cgi/
- Stellen Sie sicher, dass Ihre robot.txt-Datei den AdSense-Crawler zulässt.
- Stellen Sie die ursprünglichen Besucher-IP-Adressen in Ihren Server-Protokollen wieder her.
Fehlerbehebung bei Crawling-Fehlern
Die Schritte zur Fehlerbehebung für die am häufigsten gemeldeten Crawling-Fehler sind unten aufgeführt.
HTTP-4XX-Fehler
HTTP-4XX-Fehler sind der häufigste Typ von Crawling-Fehlern. Cloudflare übermittelt diese Fehler von Ihrem Webserver an Google. Diese Fehler werden aus unterschiedlichen Gründen verursacht, z. B. durch eine fehlende Seite auf Ihrem Webserver oder einen falsch formatierten Link in Ihrer HTML. Die Lösung hängt von dem aufgetretenen Problem ab.
HTTP-5XX-Fehler
HTTP-5XX-Fehler weisen darauf hin, dass entweder bei Cloudflare oder Ihrem Ursprungswebserver ein interner Fehler aufgetreten ist. Um das Auftreten von Crawling-Fehlern mit Website-Ausfällen zu korrelieren, sollten Sie den Zustand Ihres Ursprungswebservers überwachen. Durch Überwachung des Zustands Ihrer Website sowohl über Cloudflare als auch direkt über die IPs Ihres Ursprungswebserver lässt sich bestimmen, ob Fehler aufgrund von Cloudflare oder aufgrund Ihres Ursprungswebserver aufgetreten sind.
DNS-Fehler
Abhängig davon, ob Ihre Domain über ein Full- oder ein CNAME-Setup auf Cloudflare ist, sind die Schritte bei der Fehlerbehebung unterschiedlich. Um zu überprüfen, welches Setup Ihre Domain verwendet, sollten Sie ein Terminal öffnen und den folgenden Befehl ausführen (ersetzen Sie www.example.com durch Ihre Cloudflare-Domain):
dig +short SOA www.example.com
Bei Domains mit einem CNAME-Setup enthält die resultierende Antwort cdn.cloudflare.net. Zum Beispiel:
example.com.cdn.cloudflare.net.
Bei Domains mit einem Full-Setup enthält die resultierende Antwort die cloudflare.com-Domain in den aufgeführten Nameservern. Zum Beispiel:
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
Sobald Sie bestätigt haben, wie Ihre Domain mit Cloudflare eingerichtet wurde, können Sie mit den Schritten zur Fehlerbehebung für Ihr jeweiliges Domain-Setup fortfahren.
CNAME
Kontaktieren Sie Ihren Hosting-Provider, um DNS-Fehler zu untersuchen und das Datum anzugeben, an dem Google auf DNS-Fehler gestoßen ist. Überprüfen Sie außerdem die Cloudflare-Systemstatus-Seite auf Netzwerkausfälle an dem Datum, an dem Google auf die Fehler gestoßen ist.
Full
Kontaktieren Sie den Cloudflare-Support und geben Sie das Datum und die Uhrzeit des Moments an, an dem Google die Fehler beobachtet hat.
Anforderung von Unterstützung bei der Fehlerbehebung
Wenn Ihre Crawling-Fehler durch die obigen Schritte zur Fehlerbehebung nicht gelöst werden, sollten Sie die folgenden Schritte durchgehen, um Crawler-Fehler als .csv-Datei von Ihrem Google-Webmaster-Tools-Dashboard zu exportieren. Schließen Sie diese .csv-Datei mit ein, wenn Sie den Cloudflare-Support kontaktieren.
- Melden Sie sich bei Ihrem Google Webmaster-Tools-Konto an und navigieren Sie zum Abschnitt Zustand der betroffenen Domain.
- Klicken Sie in der linken Navigationsleiste auf Crawling-Fehler.
- Klicken Sie auf Download, um die Liste der Fehler als .csv-Datei zu exportieren.
- Geben Sie die heruntergeladene .csv-Datei an den Cloudflare-Support weiter.
Verwandte Ressourcen
Googles Dokumentation zu Crawling-Fehlern und Fehlerbehebung