Indexierungsfehler Crawling-Anomalie in der Google Search Console lösen

//Indexierungsfehler Crawling-Anomalie in der Google Search Console lösen

Indexierungsfehler Crawling-Anomalie in der Google Search Console lösen

UPDATE 21.10.2019!!

Wer sich schon mit der neuen Google Search Console vertraut gemacht hat, wird den Unterschied zum vorherigen Dashboard deutlich erkennen können. Nicht nur das – die neue Google Search Console ist weit aus mehr als nur ein geändertes Design. Vor allem die Abdeckung und Crawling-Eigenschaften haben sich durch Google’s KI (künstliche Intelligenz) stark verändert und können so manch einen verrückt machen bei der Suche nach dem Fehler.

Sie benötigen Unterstützung?

Kontaktieren Sie uns oder vereinbaren Sie ein 30-minütiges Gratisgespräch!

Google Search Console – Abdeckungsfehler

Im Bereich Index -> Abdeckung sehen wir die Ergebnisse des kürzlich stattgefundenen Crawls der Sitemap.xml. Probleme, die Google bei der Indexierung erkennt, werden hier aufgelistet. Es werden die gesamten Fehler aufgelistet sowie die Probleme an sich. In unserem Beispiel handelt es sich um 32 gefundene Fehler, die auf dem selben Problem basieren.

In der darunter liegenden Tabelle können wir die Details zum Crawl der Sitemap.xml erkennen. Die Validierung dieser URLs ist nun fehlgeschlagen, weil in den 32 Seiten Crawling-Probleme gefunden wurden.

Was ist ein Crawling-Problem?

Ein Crawling-Problem ist eine Situation, in der Google eine URL der eigenen Domain nicht indexiert. Es gibt viele Möglichkeiten, die eine korrekte Indexierung verhindern. In unserem Fall handelt es sich um die Meldung: Fehler: Crawling-Anomalie. Durch Bereitstellung einer Sitemap versuchen wir Google zu erklären welche Seiten wir im Google Index indexiert haben möchten. Die Zeit, in der Google alles macht, was wir möchten, ist aber längst vorbei. Google’s KI ist sehr intelligent geworden. Der Algorithmus von Google schläft nie und lernt tag-täglich dazu. In unserem Beitrag gehen wir gezielt auf den häufigsten Fehler der Crawling Anomalien ein

Beschreibung Crawling-Anomalie – Erkennung

Durch Klick auf die fehlerhafte URL gelangen wir nun weiter im Bereich Abdeckung -> Gesendete URL hat Crawling-Problem. Hier haben wir nun 2 Möglichkeiten:

  • URL prüfen
  • Blockierung durch Robots.txt prüfen

Abdeckung gesendete URL hat Crawling Problem

Blockierung durch Robots.txt prüfen

Zur URL Prüfung kommen wir gleich. Bei der Blockierung durch die Robots.txt Datei ist meist ein Befehl in dieser Datei hinterlegt, der eine Indexierung blockiert. Mittlerweile ist das Hinterlegen dieser Datei nicht mehr notwendig, da die meisten SEO-Tools oder Plugins (auch Extensions genannt) eigene Regeln aufstellen, die nicht mehr in einer Datei hinterlegt sind. Auch ist das Einfügen eines Meta-Tags mit dem Namen Robots eine gute Alternative, um gezielt einzelne Seiten aus dem Index zu entfernen.

URL prüfen

Durch Klick auf “URL prüfen” gelangt man nun in eine manuelle Prüfung der einzelnen URL, in der Google Daten in Real-Time aus dem Google-Index abruft und uns Informationen zur URL bereitstellt. im nächsten Step erfahren wir nun was es auf sich hat mit der Indexierung der URL

Prüfung der einzelnen URL zur Fehlerbeseitigung

Die Informationen der Search Console dienen uns dafür Fehler auf der eigenen Webseite zu korrigieren, damit eine ordnungsgemäße Indexierung stattfinden kann. Ohne Indexierung gibt es leider keine Positionierung in den Suchmaschinen. Dies kann zu einem großen Problem werden, wenn Besucher aus bleiben, weil die eigene Webseite nicht in Google auftaucht. Deshalb ist hier schnelles Handeln gefordert.

URL ist nicht auf Google Indexiert - Indexierungsfehler

Die obere Tabelle zeigt uns an, dass der Fehler von Google erkannt wird.

Abdeckung Fehler Crawling Anomalie

Die detaillierten Informationen aus diesem Screenshot zeigen uns folgende wichtige Details:

  • Ist die Sitemap korrekt? Wenn ja übermittelt unser System die fehlerhafte URL in dem Glauben, dass alles in Ordnung ist
  • Wann wurde das letzte Mal gecrawled? Habe ich seitdem irgendwelche Veränderungen an der Webseite gemacht, die diese Fehlindexierung verursacht haben?
  • Worüber wurde gecrawled? In diesem Beispiel war es der Googlebot für Smartphones
    • Wichtiger Punkt: Der Fehler könnte hier in einem Detail stecken, der lediglich mit der Ansicht für mobile Endgeräte in Kontakt steht
  • Crawling erlaubt? -> auch eine Möglichkeit ein “noindex” auszuschließen – dieser Befehl kann über Plugins oder Extensions für einzelne URLs gegeben werden, für die komplette Seite oder das bestimmte Verzeichnis sowie die bestimmte URL wird durch die robots.txt vom Index ausgeschlossen

Fehler: Crawling-Anomalie – mögliche Ursachen

Durch unsere Recherchen und Beispiel-Platzierungen von Fehlern haben wir reichliche Möglichkeiten gefunden, die zu einer Crawling-Anomalie führen können. Alles in allem müssen wir zugeben: Wir sind teilweise überwältigt und gleichzeitig erschrocken über die mittlerweile entwickelte Intelligenz der Google KI und Google Algorithmus. Durch die neueste Technik von Google werden Fehler erkannt, die für uns keine Fehler sind. Doch hier gilt wieder mal das Statement von Google zu beachten: Die User Experience steht im Fokus. Aktuell könnte man sagen sie steht über allem anderen, denn die verursachenden Fehler haben alle etwas gemeinsam: Sie verhindern die Möglichkeit für den User eine erfolgreiche User-Experience zu haben. Folgende mögliche Fehler sollten überprüft werden

  • Fehlende Meta-Tags
    • Ja, man mag es nicht glauben, aber auch dies ist lt. unseren Recherchen ein Grund weswegen Google unsere URL nicht indexieren möchte
    • Schließlich dienen Meta-Tags (Title und Description) dazu sich erst überhaupt in Suchmaschinen präsentieren zu können
  • Fehlende Hintergrundbilder
  • Eingebaute Bilder über Page-Builder oder Composer, die nicht für die mobile Webseite angepasst sind (Hinweis: Welcher Googlebot hat die Seite gecrawled? Googlebot für Smartphones?)
    • Bitte auch auf Hintergrundbilder achten, die auf den ersten Blick nicht sichtbar sind (diese sind meistens in den Page Builder Containern hinterlegt bzw. eingebaut)
  • Elemente, die Fehler im HTML-Code verursachen (Geheimtipp beachten!!)
  • Fehlerhafte Links, die im Content eingebaut sind (wenn es bei der Verlinkung auf eine 404-Fehlerseite kommt oder Fehlelemente im Link vorhanden sind, kann das auch zu einer Ablehnung der Indexierung führen)
    • In unserem Beispiel hat auch ein fehlendes
  • Bei Verlinkungen immer den kompletten Link einfügen (in unserem Beispiel führt es zu Fehlern, wenn wir das “www.” vergessen)
  • Vorsicht: Google erkennt Soft-404 Fehler
    • Wenn euer System schlau genug ist, um eine nicht mehr existierende URL zur richtigen URL umzuleiten (301 Redirect), sieht Google dies als einen Soft 404-Fehler an und indexiert dadurch eure Seite nicht

UPDATE 21.10.2019: IP-Adressen von Google Crawler blockiert?

Für alle, die ein Security Plugin nutzen, um Hacker abzuwehren ist es enorm wichtig die blockierten IP-Adressen zu überprüfen. Auch Google versucht zeitweise bei einer Reindexierung mehrere Crawlingversuche durchzuführen. Für das Security Plugin erscheint diese Vorgehensweise aber auch als ein dubioser Versuch auf die Webseite zuzugreifen. Somit kann es vorkommen, dass auch die Google IP-Adressen gesperrt werden und schon haben wir den Salat – Google versucht zu indexieren, wird aber per 403 Fehler blockiert und meldet eine Crawling-Anomalie an die Search Console.

Geheimtipp:

Bevor ihr stundenlang alle möglichen Szenarien ausmalt und Möglichkeiten in Betracht zieht à là “Nadel im Heuhaufen” suchen, empfehle wir euch etwas, was im Grunde zu 90% diesen Fehler beseitigen wird. Es ist ganz einfach: Jeder Browser verfügt über die Möglichkeit der Einsicht des Quellcodes der Webseite, aber auch die Möglichkeit die Webseite zu untersuchen. Dabei solltet ihr folgende Schritte beachten (meine Screenshots basieren auf den Google Chrome Browser – die Möglichkeit diese Einstellung zu erreichen ist von Browser zu Browser unterschiedlich):

  1. Rechtsklick im Browserfenster
  2. Klick auf “Untersuchen”
  3. Beobachten der Fehlermeldung in den Elementen mit dem roten X was bedeutet, es gibt Fehler auf der Webseite (diese schnellstmöglich beseitigen)
  4. Beobachten der Hinweise  in den Elementen (gelbes Ausrufezeichen)

Crawling Anomalie feststellen Elemente durchsuchen Browser

  • Und wenn ihr am verzweifeln seid, weil scheinbar alles korrekt ist – achtet bitte darauf wann ihr die letzte Aktualisierung für diese URL durchgeführt habt – wenn ihr beispielsweise am Content seit Monaten nichts geändert habt, ist das für Google auch ein Grund keine erneute Indexierung voranzutreiben.
    • Denn wenn beispielsweise vor 2 Wochen gecrawled wurde und die Indexierung abgelehnt wurde, diese aber jetzt von euch wieder angestoßen wird, obwohl der Versionsverlauf der Webseite zeigt, dass ihr seit 4 Monaten keine Aktualisierung durchgeführt habt, wird Google eure URL nicht nochmal indexieren. Deshalb unbedingt die URL aktualisieren, am Besten die Chance ergreifen und eure URL mit themenrelevanten Content erweitern

Fazit:

Die Beseitigung von Crawling Anomalien ist kein Hexenwerk. Im Grunde kann man die Ansicht und Vorgehensweise von Google gut nachvollziehen. Die Menge an Domains, die aktuell in Google gerankt werden möchten, ist exponentiell gestiegen. Somit muss Google filtern welche Webseite seine Hausaufgaben gemacht hat und welche nicht. Die Webseiten mit schlechter Qualität und Fehlern werden einfach ausgeschlossen oder im Crawling limitiert. Viel Spaß beim “Improven” eurer Webseite. 🙂

Sind Sie auch von der Crawling Anomalie betroffen? Jetzt 30 Minuten Gratisgespräch vereinbaren!

2019-11-28T14:22:49+01:0026. Juli, 2019|SEO|

Über den Author:

Daniele Mulas ist Mitgründer und Geschäftsführer von Damcon. Seine Schwerpunkte sind der Vertrieb und die Suchmaschinenoptimierung (SEO). Vor Gründung der Damcon war er Vertriebsexperte bei CJ (ValueClick) und affilinet.
Datenschutz
, Besitzer: (Firmensitz: Deutschland), verarbeitet zum Betrieb dieser Website personenbezogene Daten nur im technisch unbedingt notwendigen Umfang. Alle Details dazu in der Datenschutzerklärung.
Datenschutz
, Besitzer: (Firmensitz: Deutschland), verarbeitet zum Betrieb dieser Website personenbezogene Daten nur im technisch unbedingt notwendigen Umfang. Alle Details dazu in der Datenschutzerklärung.