robots.txt yapay zekâ eğitimini tek başına sınırlamıyor

Search Engine Journal'ın aktardığına göre Google'dan Gary Illyes, Search Central'ın yeni videosunda robots.txt dosyasının yapay zekâ eğitimi açısından neyi yapıp neyi yapmadığını anlattı. Soru basitti: bir sitenin yapay zekâ tarayıcılarına erişimine izin verip aynı bilginin model eğitiminde kullanılmasını engellemek robots.txt ile mümkün mü?

robots.txt yapay zekâ eğitimini engelliyor mu?

Hayır, tek başına engellemiyor. Illyes'e göre RFC 9309 ile tanımlanan robots.txt bir "erişim tercihi protokolü": tarayıcının hangi adreslere istek atabileceğini söylüyor, tarandıktan sonra verinin ne olacağına karışmıyor. Belirli bir yapay zekâ tarayıcısını tamamen dışarıda tutmak istiyorsanız o tarayıcının kullanıcı aracısı adını dosyada açıkça hedeflemeniz gerekiyor.

Videoda gösterilen uydurma bir direktif ("No-AI-Chicken-Training") de bir ayrıştırıcı tarafından yok sayılırdı. Google'ın belirtim sayfası desteklenen dört öğeyi sayıyor: User-Agent, Allow, Disallow ve Sitemap; geçersiz satırlar atlanıyor.

Google-Extended ne işe yarıyor?

Google-Extended, kendi kullanıcı aracısı olmayan bir robots.txt belirteci. Google, içeriği mevcut tarayıcılarıyla çekiyor; belirteç ise bu içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki dayanaklandırmada kullanılıp kullanılmayacağını yönetiyor. Google'ın sayfasına göre Google Arama'ya dahil olmayı etkilemiyor ve sıralama sinyali değil.

Kullanım tercihini bağımsız biçimde bildirmenin standart bir yolu henüz yok. Illyes'in de ortak yazarı olduğu bir IETF taslağı, robots.txt'ye ve bir HTTP üstbilgisine Content-Usage kuralı eklemeyi öneriyor; taslak hâlâ çalışma grubu belgesi aşamasında ve kullanım etiketlerini tanımlayan ayrı sözlük taslağı çalışma grubunda uzlaşı yansıtmıyor.

Türkiye'deki siteler ne yapmalı?

Yapay zekâ botlarına yönelik tercihinizi robots.txt'de netleştirmek, hem içeriğinizin eğitimde kullanımını hem de GEO (üretken motor optimizasyonu) çalışmanızın görünürlük hedefini birlikte düşünmeyi gerektirir: bir botu tamamen engellemek, o botun beslediği yanıtlarda yer almayı da zorlaştırabilir. Bu yüzden karar teknik değil, iş kararıdır.

• Mevcut robots.txt dosyanızı açın; hangi yapay zekâ botlarının adının geçtiğini ve neyi engellediğini yazılı hâle getirin.
• Engellemek istediğiniz her botun kullanıcı aracısı adını ayrı ayrı yazın; genel bir "yapay zekâ yok" satırı işe yaramaz.
• Türkçe karakter ya da emoji içeren yolları yüzde kodlamalı biçimde yazın: Google ham karakterleri de aynı işler, ancak eski ya da farklı tarayıcılar yanlış okuyabilir.
• Engelleme kararınızı, yapay zekâ cevaplarında görünürlük hedefinizle birlikte yılda en az bir kez gözden geçirin.