Yapay Zekâ Botlarını robots.txt'te Engellemeli miyim?

Robots.txt dosyanıza bakmadıysanız, yapay zekâ botlarının sitenize girip girmediğini büyük ihtimalle bilmiyorsunuz. Ben de bilmiyordum: bu yaz kendi sitemizin robots.txt dosyasına baktığımda, o dönem sitemizin önünde çalışan Cloudflare'in bir özelliği ChatGPT'nin ve Claude'un botlarını benim haberim olmadan engelliyordu. Bu yazıda yapay zekâ botlarının neden tek bir grup olmadığını, hangisini engellemenin neye mal olduğunu ve bizim neden hepsine kapıyı açtığımızı anlatıyorum.

Yapay zekâ botları ne yapıyor?

"Yapay zekâ botu" tek bir şey değil. Büyük şirketlerin çoğu artık farklı işler için farklı botlar kullanıyor ve robots.txt'te her birini ayrı yönetmenize izin veriyor. Kabaca üç iş var:

Model eğitimi için tarayan botlar

Sitenizdeki içeriği, gelecekteki yapay zekâ modellerinin eğitim verisine katmak için toplayanlar. OpenAI'ın GPTBot'u ve Anthropic'in ClaudeBot'u bu işi yapıyor. Google'da ise ayrı bir tarayıcı yok; Google-Extended adında bir robots.txt jetonu var ve Google'ın topladığı içeriğin gelecek nesil Gemini modellerinin eğitiminde ve Gemini Uygulamaları'ndaki temellendirmede kullanılıp kullanılamayacağını bu jetonla yönetiyorsunuz.

Yapay zekâ aramasına içerik toplayan botlar

Sohbet uygulamalarının arama özelliğinde sitenizi kaynak olarak gösterebilmek için tarayanlar. OpenAI'ın OAI-SearchBot'u, Anthropic'in Claude-SearchBot'u ve Perplexity'nin PerplexityBot'u bu gruba giriyor. Perplexity, botunun temel model eğitimi için değil, arama sonuçlarında siteleri göstermek için kullanıldığını açıkça yazıyor.

Kullanıcı sorusu üzerine siteye giden botlar

Birisi sohbet sırasında bir soru sorduğunda o an sitenize gidip sayfayı okuyanlar. Claude-User, ChatGPT-User ve Perplexity-User bunlara örnek. Anthropic, Claude-User'ı engellemenin, sitenizin kullanıcıların yönlendirdiği aramalardaki görünürlüğünü azaltabileceğini belirtiyor.

Yapay zekâ botlarını engellersem ne kaybederim?

Hangi botu engellediğinize göre değişiyor, işin püf noktası da bu:

• Eğitim botunu engellemek sitenizin gelecekteki içeriğinin model eğitiminde kullanılmamasını istediğinizi söylüyor. GPTBot ve ClaudeBot için bu, arama görünürlüğünüze doğrudan dokunmuyor; Google-Extended ise Gemini Uygulamaları'ndaki temellendirmeyi de kapsıyor.
• Arama botunu engellemek o uygulamanın arama cevaplarında kaynak gösterilme şansınızı kesiyor ya da azaltıyor. OpenAI'ın belgesine göre OAI-SearchBot'u engelleyen site ChatGPT arama cevaplarında gösterilmiyor; yalnız gezinme bağlantısı olarak çıkabiliyor.
• Kullanıcı botunu engellemek birisi sohbette sizin sayfanızı sorduğunda yapay zekânın sayfayı okumasını zorlaştırabilir. Anthropic, Claude-User'ı engellemenin görünürlüğü azaltabileceğini yazıyor; OpenAI ve Perplexity ise kullanıcı isteğiyle yapılan ziyaretlerde robots.txt kurallarının geçerli olmayabileceğini belirtiyor.

Bu ayarlar birbirinden bağımsız. OpenAI'ın belgesi örneği de veriyor: OAI-SearchBot'a izin verip GPTBot'u engelleyen bir site ChatGPT aramasında görünebiliyor ve içeriğinin temel modellerin eğitiminde kullanılmamasını istediğini belirtmiş oluyor. Yani "içeriğim model eğitimine girmesin ama aramada görüneyim" diyen biri için ortada bir yol var.

Google-Extended'i engellemek Google sıralamamı düşürür mü?

Hayır. Google bu konuda net: Google-Extended, bir sitenin Google Arama'ya dahil edilmesini etkilemiyor ve sıralama sinyali olarak kullanılmıyor. Bu jeton yalnız içeriğinizin Gemini modellerinin eğitiminde ve Gemini Uygulamaları'ndaki temellendirmede kullanılıp kullanılamayacağını belirliyor. Google Arama'daki yapay zekâ özetleri ise Google-Extended ile kapatılmıyor, Arama'nın kendi kurallarına tabi; onları ayrıca AI Overview ve AI Mode görünürlüğü yazımda anlattım.

Kendi sitemizin robots.txt dosyasında ne buldum?

25 Temmuz 2026'da sitemizin 52 sayfasını tararken canlı robots.txt dosyasını açtım ve iki sorun buldum. Birincisi, sunulan dosya yeni sitenin değil, eski WordPress sürümünün dosyasıydı. İkincisi daha ciddiydi: o dönem sitemizin önünde çalışan Cloudflare'in yönetilen robots.txt (Managed robots.txt) özelliği, GPTBot, ClaudeBot ve CCBot dahil yapay zekâ botlarına dosyaya "Disallow: /" satırı ekleyerek siteyi tamamen kapatıyor ve içeriğin eğitimde kullanılmasını reddeden bir sinyal de basıyordu. GEO hizmeti veren ajansımızın kendi sitesi yapay zekâ botlarına kapalıydı.

9 Ağustos'ta bu engeli kaldırdım; bugün sunulan dosya sitenin kendi robots.txt'i. Bugün robots.txt dosyamızda eğitim, arama ve kullanıcı botlarından oluşan 29 yapay zekâ kullanıcı aracısı tek bir grupta tüm siteye izinli; yalnız yönetim paneli ve site içi arama sayfaları tüm botlara kapalı. Dosyanın sonunda da yapay zekâ için hazırladığımız llms.txt özetine işaret var. Kendi robots.txt dosyanızı hazırlamak için robots.txt üretici aracımızı kullanabilirsiniz.

Hangi durumda botları engellemek mantıklı?

Benim önerim işin türüne göre değişiyor:

• Hizmet ya da ürün satan işletme: hepsine izin verin. Yapay zekâ cevabında önerilmek, sizi arayan müşterinin karşısına çıkmak demek; içeriğiniz zaten müşteri kazanmak için yazılmış.
• İçeriğin kendisini satan yayıncı: ücretli haber, araştırma raporu ya da eğitim içeriği satıyorsanız eğitim botlarını engelleyip arama ve kullanıcı botlarına izin vermek makul bir denge.
• Sunucusu zorlanan site: bazı botlar kısa sürede çok istek atabiliyor. Önce hangi botun ne kadar istek attığını log analizi ile ölçün; engelleme kararını tahminle değil, sunucu kaydıyla verin.

Bilmeniz gereken bir sınır daha var: robots.txt bir rica, kilit değil. Anthropic, botlarının robots.txt'teki standart kurallara uyduğunu yazıyor. OpenAI ve Perplexity ise ayrım yapıyor: otomatik tarayan botları bu dosyaya uyuyor, ama kullanıcı isteğiyle sayfaya giden ChatGPT-User ve Perplexity-User için robots.txt kurallarının geçerli olmayabileceğini belirtiyorlar. Bir botu gerçekten durdurmanın yolu robots.txt değil, sunucu tarafında erişim engeli.

Robots.txt'te botlara izin vermek yapay zekâda görünmek için yeter mi?

Yetmiyor, yalnız kapıyı açıyor. Bir yapay zekâ cevabında kaynak gösterilmek için içeriğin sorulan soruya net cevap vermesi, markanın başka yerlerde anılması ve sayfanın makinenin kolay ayrıştıracağı biçimde yazılması gerekiyor. Bu çalışmanın bütününü GEO nedir yazımda anlattım; bizimle yürütmek isterseniz GEO hizmeti sayfamıza bakabilirsiniz.

Sık Sorulan Sorular

GPTBot'u engellersem ChatGPT'de hiç görünmez miyim?

Görünebilirsiniz. GPTBot eğitim içindir; ChatGPT'nin arama özelliğinde gösterilmek OAI-SearchBot'a bağlı. OpenAI iki ayarın bağımsız olduğunu ve OAI-SearchBot'a izin veren sitenin arama sonuçlarında görünebildiğini belirtiyor.

Robots.txt değişikliği ne kadar sürede etkili olur?

Bota göre değişiyor. OpenAI, arama sonuçları için robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini yazıyor. Değişiklikten sonra dosyanın canlı sürümünü tarayıcıda açıp gerçekten güncellendiğini kontrol edin; önbellek eski dosyayı göstermeye devam edebiliyor.

Robots.txt'te hiç yapay zekâ botu yazmazsam ne olur?

Dosyada "User-agent: *" için bir engel yoksa, adıyla anılmayan botlar da genel kurala uyar ve siteyi tarayabilir. Botları tek tek yazmak zorunlu değil; ben kararı açıkça görünür kılmak ve sonradan hangi bota ne izin verildiğini tek bakışta okuyabilmek için yazıyorum. Dosyanın nasıl çalıştığını robots.txt maddesinde anlattım.

Bir llms.txt dosyası robots.txt'in yerini tutar mı?

Tutmaz. Robots.txt botlara hangi sayfalara girebileceklerini bildiriyor; llms.txt ise yapay zekâya sitenin özetini ve önemli sayfalarını sunan ayrı bir dosya. İkisi birbirini tamamlıyor.

Faydalı Kaynaklar

• OpenAI: Botlar ve kullanıcı aracıları: GPTBot, OAI-SearchBot ve ChatGPT-User farkı
• Google Arama Merkezi: Google'ın ortak tarayıcıları: Google-Extended jetonunun kapsamı
• Anthropic: Web taraması ve botların engellenmesi: ClaudeBot, Claude-User ve Claude-SearchBot
• Perplexity: Tarayıcılar: PerplexityBot ve Perplexity-User