لماذا تظهر خريطة موقع صالحة رسالة «تعذّر الجلب»؟

في بودكاست غوغل Search Off the Record، شرح جون مولر ومارتن سبليت سبب قول Search Console «تعذّر الجلب» (couldn't fetch) حتى لخريطة موقع XML صالحة. وبحسب Search Engine Journal فإن موظفي غوغل يدركون إحباط المستخدمين من هذا الأمر.

لماذا لا يمكن جلب خريطة موقع صالحة؟

السبب الأول الذي ذكره مولر هو حمل الخادم: إذا كانت أنظمة غوغل منشغلة بزحف صفحات أخرى في الموقع فقد لا تجد وقتاً لجلب ملف خريطة الموقع، ويُبلغ Search Console عن ذلك أيضاً بعبارة «تعذّر الجلب». وتضيف SEJ أن خادماً يعيد أخطاء تحت ضغط كبير قد يؤدي إلى النتيجة نفسها.

السبب الثاني هو الطلب على الزحف. وبحسب مولر، إذا لم تر أنظمة غوغل حاجة إلى زحف الكثير من الموقع فقد تتجاوز خريطة الموقع. وغالباً ما يستند هذا الطلب إلى جودة الموقع كما تراها غوغل، لذا فالمسألة ليست تقنية بحتة. وأضاف أنه إذا تحسنت الجودة بشكل ملحوظ فستبدأ غوغل باستخدام الملف.

كيف تجد زواحف الذكاء الاصطناعي خريطة الموقع؟

قال مولر إن معظم زواحف تدريب الذكاء الاصطناعي ليس لديها لوحة تحكم لإرسال خريطة الموقع. وفي تقرير منفصل لـ SEJ يقترح طريقين للمواقع التي تريد ظهور محتواها في أنظمة الذكاء الاصطناعي: نشر الملف باسمه العام sitemap.xml، أو التركيز على خلاصات RSS. وقال إنه رأى في سجلات خادمه الخاص أن بعض زواحف الذكاء الاصطناعي تصل إلى خريطة موقعه وملفات RSS، لكنه لم يذكر أسماءها.

وكان حذراً بشأن llms.txt: شبّه مولر ملف Markdown هذا بخريطة موقع HTML وقال إن أنظمة غوغل لا تستطيع استخدامه كخريطة موقع. ولا يرى مانعاً من تجربته، لكنه لا ينصح بالاعتماد عليه.

ماذا ينبغي أن تفعل المواقع؟

تُظهر هذه التصريحات أنه لا ينبغي اعتبار التحذير الأحمر في Search Console عطلاً تقنياً تلقائياً. فإذا كان الملف صالحاً ومتاحاً، فالأماكن التي ينبغي النظر فيها هي سجلات الخادم وجودة محتوى الموقع.

• افحص سجلات الخادم بحثاً عن استجابات خطأ لطلبات Googlebot؛ وإذا كان الخادم يتعثر في أوقات الذروة فأصلح البنية التحتية أولاً.
• انشر خريطة الموقع باسم sitemap.xml وصرّح بها في robots.txt؛ وتجنب الاسم المخصص ما لم تكن لديك رغبة في إبقائها خاصة.
• للمواقع التي تنشر أخباراً أو مدونات، اربط خلاصة RSS من رأس الصفحة؛ فهي تمنح زواحف الذكاء الاصطناعي طريقاً إضافياً لاكتشاف المحتوى.
• لا تستخدم llms.txt بدلاً من خريطة الموقع؛ وإذا أردت تجربته فأبقِه بجانب خريطة XML.