robots.txt, sitenizin kök dizininde duran (site.com/robots.txt) düz metin dosyasıdır. Arama motoru robotlarına hangi bölümleri taramamaları gerektiğini söyler.
User-agent: *
Disallow: /admin/
Disallow: /*?sirala=
Sitemap: https://site.com/sitemap.xmlEn sık yapılan karıştırma
robots.txt taramayı engeller, dizine girmeyi değil. Engellenmiş bir sayfaya başka sitelerden bağlantı varsa Google onu içeriğini görmeden dizine alabilir — arama sonucunda başlıksız, açıklamasız görünür.
Bir sayfanın arama sonuçlarında hiç çıkmamasını istiyorsanız doğru araç <meta name="robots" content="noindex"> etiketidir. Ve dikkat: sayfayı robots.txt ile engellerseniz Google noindex etiketini okuyamaz bile. İkisi birlikte kullanılmaz.
Yapay zekâ robotları
Artık robots.txt'te ayrıca karar verilen bir grup var: GPTBot, ClaudeBot, PerplexityBot, Google-Extended gibi yapay zekâ tarayıcıları. Bunları engellemek, yapay zekâ aramalarında kaynak gösterilme ihtimalinizi de kapatır — kararı bilerek verin.
Not: Google-Extended engellemek Google Arama'yı ve AI Overviews'ı etkilemez, yalnız Gemini eğitimini kapsar.
Kontrol
Engellemek her zaman doğru değil
CSS ve JavaScript dosyalarını robots.txt ile kapatmak eski bir alışkanlıktır ve bugün zararlıdır. Google sayfayı tarayıcı gibi işler; stil ve betik dosyalarını göremezse sayfanın mobil uyumlu olup olmadığını da değerlendiremez.
Yönetim paneli, sepet, arama sonucu sayfaları gibi gerçekten değersiz bölümleri kapatın. Şüphedeyseniz kapatmayın — taranan ama dizine girmeyen bir sayfa, taranamayan bir sayfadan daha az sorun çıkarır.
Dosyayı sıfırdan yazmak istemiyorsanız robots.txt üretici aracımızı kullanabilirsiniz. Ayrıntı için llms.txt nedir yazısına da bakın; yapay zekâ tarayıcıları konusunda ikisi birlikte okunur.
Kontrol
Search Console'da robots.txt raporu, dosyanın okunup okunmadığını ve satır hatalarını gösterir. Bir dizgede sorun varsa Google tüm grubu yok saymaz, yalnız o satırı atlar — bu yüzden sessiz hatalar olur.