Sitem Yapay Zeka Botlarına Açık mı? Nasıl Kontrol Edilir?

Kısa cevap: Sitenizin yapay zeka botlarına açık olup olmadığını üç yere bakarak anlarsınız: robots.txt dosyası, güvenlik duvarı ya da CDN ayarları ve sunucu kayıtları. Arama botlarını ve kullanıcı adına okuyan botları engellemek asistan cevaplarındaki görünürlüğünüzü düşürür. Eğitim botlarını engellemek ise tercihe bağlıdır ve aramadaki görünürlüğü etkilemez.

Pek çok site, sahibi fark etmeden yapay zeka botlarına kapalıdır. Bir eklenti, hazır bir robots.txt şablonu ya da CDN panelindeki tek bir düğme buna yetebilir. Bu yazıda botları tanıyıp sitenizi adım adım kontrol edeceksiniz.

Yapay zeka botları kaç türdür?

Yapay zeka şirketlerinin botları görevlerine göre üç türe ayrılır. Ayrımı bilmek önemlidir, çünkü her türü engellemenin sonucu farklıdır.

• Arama botu: Sayfaları önceden tarar ve asistanın arama dizinine ekler. Engellenirse siteniz asistanın arama sonuçlarında kaynak olarak görünmeyebilir.
• Kullanıcı adına okuyan bot: Bir kişi soru sorduğunda ya da bağlantı verdiğinde sayfayı o anda açar. Engellenirse asistan o kişiye sayfanızı okuyup anlatamaz.
• Eğitim botu: Modellerin gelecekteki eğitimi için içerik toplar. Engellemek, içeriğinizin eğitimde kullanılmamasını istediğinizi bildirir.

Hangi bot ne işe yarar?

Başlıca botlar ve görevleri aşağıdaki tabloda yer alıyor. Bilgiler şirketlerin kendi belgelerine dayanır. Bot adları ve davranışları zamanla değişebildiği için güncel listeyi ilgili şirketin belgelerinden doğrulayın.

İki not ekleyelim. Google-Extended ayrı bir bot değil, robots.txt içinde kullanılan bir denetim adıdır. Google’ın arama özetleri ise bildiğimiz Googlebot’un taradığı sayfalardan beslenir. Ayrıca OpenAI ve Perplexity, kullanıcı adına çalışan botlarında robots.txt kurallarının her zaman uygulanmayabileceğini belirtiyor, çünkü isteği bir insan başlatıyor.

robots.txt dosyası nasıl kontrol edilir?

Tarayıcınızın adres çubuğuna site adresinizi ve sonuna /robots.txt yazarak dosyayı açın. Dosya herkese açıktır ve düz metindir. Şunlara bakın:

1. User-agent: * satırının altında Disallow: / yazıyor mu? Yazıyorsa site bütün botlara kapalıdır.
2. Tablodaki bot adlarından biri User-agent satırında geçiyor ve altında Disallow: / var mı? Varsa o bot engellenmiştir.
3. Arama ve kullanıcı botları için özel bir yasak yoksa ve genel kural da siteyi kapatmıyorsa bu botlar siteyi tarayabilir.

Arama botlarına açık, eğitim botuna kapalı bir düzen isteyen bir site için kurallar şu satırlardan oluşur:

• User-agent: OAI-SearchBot ve altında Allow: /
• User-agent: GPTBot ve altında Disallow: /

Her bot için ayrı bir kural yazılır. Bir şirketin eğitim botunu engellemek, aynı şirketin arama botunu engellemez. Dosyada değişiklik yaptıktan sonra adresi yeniden açıp kuralın yayına girdiğini kontrol edin.

Eğitim botlarını engellemeli miyim?

Bu bir tercih meselesidir ve doğru cevap işletmeye göre değişir. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız eğitim botlarını engelleyebilirsiniz. Şirketlerin açıklamalarına göre bu, asistanların arama sonuçlarındaki görünürlüğünüzü etkilemez.

Öte yandan eğitim verisinde yer almak, modelin firmanızı ve alanınızı arama yapmadan da tanımasına katkı sağlayabilir. Tanıtım amaçlı bir işletme sitesi için eğitim botlarını açık bırakmak çoğunlukla sakıncasızdır. Ücretli ya da özgün içerik satan yayıncılar ise farklı düşünebilir. Karar sizindir. Dikkat edilecek nokta, eğitim botunu engellemek isterken arama ve kullanıcı botlarını da kapatmamaktır.

robots.txt açık olduğu halde bot neden engellenir?

Çünkü asıl engel çoğu zaman güvenlik duvarında ya da CDN ayarındadır. robots.txt yalnız bir ricadır. Sunucunun önündeki güvenlik katmanı ise botu kapıdan çevirir ve bot dosyayı bile okuyamaz. Bakılacak yerler şunlardır:

• CDN panelindeki yapay zeka botlarını engelleme seçeneği. Bazı hizmetlerde bu seçenek hazır olarak açık gelebilir.
• Bot koruması ya da doğrulama sayfası gösteren güvenlik kuralları.
• Yurt dışı adreslerini topluca engelleyen ülke kısıtlamaları. Bu botların çoğu yurt dışındaki sunuculardan gelir.
• Güvenlik eklentilerindeki hazır bot yasak listeleri.
• Barındırma firmasının sunucu düzeyindeki engelleri.

Kendi tarayıcınızda sitenin açılması, botun da açabildiği anlamına gelmez. Gerçek durumu sunucu ya da CDN kayıtları gösterir. Kayıtlarda bot adını arayıp isteğe verilen cevabın başarılı mı, engelli mi olduğuna bakılır.

Kontrolü kolay yoldan nasıl yaparım?

Sitenizi botların gözünden sınayan bir test kullanmak işi kısaltır. Ads Türkiye’nin yapay zeka arama optimizasyonu hizmetinde müşteri sitelerini kendi geliştirdiğimiz takip paneliyle izliyoruz. Panel, bot erişim testini ve botların gerçek ziyaretlerini birlikte gösterir. Kendi sitemizde de robots.txt dosyamızı asistan botlarına açık tutuyoruz. Erişim düzeltildikten sonraki adımları GEO nedir rehberimizde, isteğe bağlı özet dosyasını llms.txt nedir yazımızda, uygulamadan bir örneği ise vaka çalışmamızda bulabilirsiniz.

Sık sorulanlar

Botlar robots.txt kurallarına uymak zorunda mı?

robots.txt bir teknik engel değil, bir beyandır. Adı geçen büyük şirketler arama ve eğitim botlarının bu kurallara uyduğunu açıklıyor. Kurala uymayan botları durdurmanın yolu güvenlik duvarıdır.

Botlara açık olmak sitemi yavaşlatır mı?

Normal koşullarda fark edilir bir yük oluşturmaz. Bir bot aşırı istek gönderiyorsa barındırma ya da CDN tarafında istek sınırı konabilir. Anthropic, botlarının robots.txt içindeki Crawl-delay ayarını desteklediğini belirtiyor.

Ayarı düzelttikten sonra ne kadar beklemeliyim?

Botların siteyi yeniden ziyaret etmesi gerekir ve bunun belirli bir süresi yoktur. Kayıtlarda bot ziyaretlerinin başarılı cevap aldığını gördüğünüzde erişim tarafı tamamlanmış demektir.

Sitenizin hangi botlara açık olduğunu ücretsiz hazırlık testiyle öğrenebilirsiniz.