Warum meldet eine gültige Sitemap „Abruf fehlgeschlagen“?

Im Google-Podcast Search Off the Record erklärten John Mueller und Martin Splitt, warum die Search Console selbst bei einer gültigen XML-Sitemap „Abruf fehlgeschlagen“ (couldn't fetch) melden kann. Laut Search Engine Journal ist den Google-Mitarbeitern der Frust der Nutzer in dieser Frage bewusst.

Warum lässt sich eine gültige Sitemap nicht abrufen?

Die erste von Mueller beschriebene Ursache ist die Serverlast: Sind Googles Systeme mit dem Crawlen anderer Seiten der Website beschäftigt, finden sie womöglich keine Zeit, die Sitemap abzurufen, und die Search Console meldet auch das als „Abruf fehlgeschlagen“. SEJ ergänzt, dass ein Server, der unter hohem Aufkommen Fehler zurückgibt, dasselbe Ergebnis haben kann.

Die zweite Ursache ist der Crawling-Bedarf. Laut Mueller kann Google die Sitemap überspringen, wenn seine Systeme keinen Anlass sehen, deutlich mehr von einer Website zu crawlen. Dieser Bedarf beruht oft auf der wahrgenommenen Qualität der Website; die Sache ist also nicht rein technisch. Er fügte hinzu, dass Google die Datei nutzen werde, sobald sich die Qualität deutlich verbessere.

Wie finden KI-Crawler eine Sitemap?

Mueller sagte, die meisten KI-Trainings-Crawler hätten keine Konsole, in der sich eine Sitemap einreichen lasse. In einem separaten SEJ-Bericht nennt er für Websites, deren Inhalte in KI-Systemen auftauchen sollen, zwei Wege: die Datei unter dem generischen Namen sitemap.xml veröffentlichen oder auf RSS-Feeds setzen. In seinen eigenen Server-Logs habe er gesehen, dass manche KI-Crawler auf seine Sitemap- und RSS-Dateien zugreifen, nannte sie aber nicht beim Namen.

Bei llms.txt zeigte er sich zurückhaltend: Mueller verglich die Markdown-Datei mit einer HTML-Sitemap und sagte, Googles Systeme könnten sie nicht als Sitemap verwenden. Einen Versuch hält er für unproblematisch, rät aber davon ab, sich darauf zu verlassen.

Was sollten Websites tun?

Die Aussagen zeigen, dass eine rote Warnung in der Search Console nicht automatisch als technischer Fehler zu werten ist. Wenn die Datei validiert und erreichbar ist, sollte man Server-Logs und Inhaltsqualität der Website prüfen.

• Prüfen Sie Ihre Server-Logs auf Fehlerantworten bei Googlebot-Anfragen; wenn der Server zu Stoßzeiten ausfällt, beheben Sie zuerst die Infrastruktur.
• Veröffentlichen Sie die Sitemap als sitemap.xml und tragen Sie sie in der robots.txt ein; verzichten Sie auf einen eigenen Namen, sofern Sie sie nicht bewusst verbergen wollen.
• Verlinken Sie bei Websites mit Nachrichten- oder Blog-Inhalten den RSS-Feed im Seitenkopf; das bietet KI-Crawlern einen zusätzlichen Weg zur Entdeckung von Inhalten.
• Verwenden Sie llms.txt nicht anstelle einer Sitemap; wenn Sie es ausprobieren möchten, halten Sie es zusätzlich zur XML-Sitemap bereit.