robots.txt ne yapar, ne yapmaz?
robots.txt, sitenizin kök dizininde duran ve tarayıcılara "nereye girme" diyen bir metin dosyasıdır. Basit görünür ama yanlış yazıldığında sitenin tamamını aramadan silebilir — tek bir Disallow: / satırı yeter.
Sık yapılan bir hatayı baştan söyleyelim: robots.txt bir gizlilik aracı değildir. Engellenen adresler yine de dizine girebilir (Google onları "içeriği görülemedi" notuyla listeler) ve dosyanın kendisi herkese açıktır. Gerçekten gizli kalması gereken bir şey varsa çözüm robots.txt değil, kimlik doğrulamadır.
Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız doğru yol noindex etiketidir. Üstelik ikisi birlikte çalışmaz: robots.txt ile engellenen bir sayfanın noindex etiketi Google tarafından okunamaz, çünkü sayfaya hiç girilmemiştir.
Yapay zekâ tarayıcıları
Son yıllarda robots.txt'in yeni bir işlevi doğdu: yapay zekâ motorlarının erişimini yönetmek. Bu araç dört tanesini ayrı ayrı ele alıyor.
GPTBot (OpenAI) ve OAI-SearchBot — biri model eğitimi, diğeri ChatGPT'nin arama özelliği için. İkisi ayrı: eğitime kapatıp aramaya açık kalmak mümkün.
ClaudeBot (Anthropic) ve PerplexityBot (Perplexity) — bu motorların cevaplarında kaynak gösterilmek istiyorsanız açık kalmalı.
Karar sizin, ama sonucunu bilerek verin: kapatmak içeriğinizin izinsiz kullanılmasını azaltır, aynı zamanda markanızın yapay zekâ cevaplarında anılmasını da engeller. Giderek daha çok insanın aramayı bu araçlarla yaptığı bir dönemde bu ciddi bir takas.
Site haritası satırı
robots.txt'e Sitemap: satırı eklemek, arama motorlarına haritanızın yerini doğrudan söyler. Küçük bir satır ama keşfedilmeyi hızlandırıyor; araç bunu otomatik ekliyor.
Dosyayı nereye koyacaksınız?
Tam olarak siteadresiniz.com/robots.txt adresinde olmalı. Alt klasörde çalışmaz. Yükledikten sonra tarayıcıdan o adresi açıp dosyanın göründüğünü doğrulayın, sonra Google Search Console'un robots.txt raporundan test edin.
Sık yapılan üç hata
CSS ve JavaScript klasörlerini engellemek. Eskiden yaygın bir alışkanlıktı; bugün zararlı. Google sayfayı gerçek bir tarayıcı gibi çiziyor ve stil dosyalarına erişemezse sayfayı bozuk görüyor — mobil uyumluluk değerlendirmesi de bundan etkileniyor.
Geliştirme ayarını canlıya taşımak. Test sunucusundaki Disallow: / satırı, site yayına alınırken unutulduğunda sitenin tamamını aramadan siliyor. Yayına aldığınız gün ilk bakılacak dosya budur.
Gruplandırmayı yanlış anlamak. Bir tarayıcı adının altındaki kurallar yalnız o tarayıcıya işler. User-agent: * grubunda yazan bir kural, kendi grubu olan GPTBot için geçerli değildir. Ardışık yazılmış User-agent satırları ise tek bir grup oluşturur ve altındaki kurallar hepsine uygulanır.
Boş bir robots.txt de bir cevaptır
Hiçbir kısıt istemiyorsanız dosyayı hiç koymamak yerine boş bir izin dosyası koymak daha iyi. Dosya yoksa sunucu 404 döndürür ve bazı tarayıcılar bunu gereksiz yere tekrar tekrar dener. İçinde yalnız User-agent: * ve Allow: / olan bir dosya, "her şey serbest" demenin net yoludur — ve Sitemap: satırını koyacak bir yer kazandırır.