robots.txt, sitenizin kök dizininde bulunan ve arama motoru ile diğer botlara hangi bölümleri tarayabileceklerini bildiren bir metin dosyasıdır. Yapay zekâ görünürlüğü çağında, bu dosya artık yalnızca Google için değil, yapay zekâ tarayıcıları için de kritik bir denetim noktasıdır.

robots.txt ne yapar, ne yapmaz?

  • Yapar: Botlara belirli dizinleri veya sayfaları taramamalarını “rica” eder.
  • Yapmaz: İçeriği gizlemez veya güvenlik sağlamaz. Engellenen bir sayfa yine de başka yollardan indekslenebilir; hassas içeriği korumak için robots.txt yeterli değildir.

Yapay zekâ botları ve erişim kararı

ChatGPT, Perplexity ve diğer yapay zekâ araçlarının kendi tarayıcıları vardır. Bu botların içeriğinize erişmesi, o platformların cevaplarında görünmenizin ön koşuludur. Ancak bu bir tercih meselesidir:

  • Görünmek istiyorsanız, ilgili yapay zekâ botlarının içeriğinizi tarayabildiğinden emin olun.
  • Belirli botları dışarıda tutmak istiyorsanız (örneğin yalnızca eğitim amaçlı toplayanları), bunu robots.txt ile bildirebilirsiniz.

Önemli olan, bu kararı bilinçli vermektir. Birçok sitede yapay zekâ botları, farkında olunmadan güvenlik duvarı veya CDN kuralları tarafından engellenir — ve marka neden görünmediğini anlamaz.

Sık yapılan hatalar

  • Yanlışlıkla her şeyi engellemek. Tek bir hatalı satır, tüm sitenizi taramaya kapatabilir.
  • Görünmek istediğiniz botları engellemek. Güvenlik duvarı ve CDN kurallarını da kontrol edin; sorun her zaman robots.txt’de olmayabilir.
  • robots.txt ile hassas içerik korumaya çalışmak. Bunun için doğru yöntem kimlik doğrulama ve noindex’tir.

Doğru yaklaşım

Erişim politikanızı, “hangi yüzeylerde görünmek istiyorum?” sorusuyla kurun. Sonra robots.txt, sunucu ve CDN kurallarını buna göre hizalayın. Bu, teknik SEO ve yapay zekâ keşfedilebilirliği çalışmasının önemli bir parçasıdır.

Özet

robots.txt, botların erişimini yöneten güçlü ama sınırlı bir araçtır. Yapay zekâ çağında, görünmek istediğiniz botlara erişim verildiğinden emin olmak; görünmek istemediklerinizi ise bilinçli biçimde yönetmek gerekir. Erişim durumunuzu görmek için bir teknik ön inceleme iyi bir başlangıçtır.