X-Robots-Tag, arama motorlarına verilen tarama ve dizine ekleme talimatlarını HTML içindeki bir etiketle değil, HTTP yanıt başlığıyla ileten yöntemdir. Söylediği şeyler meta robots ve noindex etiketiyle aynıdır, söylendiği yer farklıdır: Google'ın belgesine göre meta etikette geçerli olan her kural bu başlıkta da geçerlidir.
Neden gerekli?
Meta robots etiketi HTML'in içine yazılır. Peki dosya HTML değilse? Bir PDF'in, bir görselin ya da bir CSV çıktısının içine etiket koyamazsınız. Google da PDF, video ve görsel gibi HTML olmayan kaynakları dizine kapatmak için bu başlığı öneriyor.
Bu, sanıldığından daha sık karşılaşılan bir durum. Fiyat listeleri, kataloglar, teklif şablonları ve rapor çıktıları PDF olarak yayımlanır ve kimse istemeden arama sonuçlarında görünür.
Nasıl yazılır?
En yalın hâli yanıtın içindeki tek satırdır: X-Robots-Tag: noindex. Birden fazla kural virgülle yan yana yazılır, örneğin noindex, nofollow. Başlık tek bir tarayıcıyı da hedefleyebilir: X-Robots-Tag: googlebot: nofollow yalnız Googlebot'u bağlar, tarayıcı adı yazılmayan kurallar herkese uygulanır.
Başlık çoğunlukla sunucu yapılandırmasından verilir. Apache'de dosya uzantısına göre Header set, nginx'te ilgili konum bloğunda add_header satırı kullanılır. Kapsamı yanlış yazılan tek bir satır, istemediğiniz bir klasörü de dizine kapatır. Bu yüzden kuralı dosya türüne ya da klasöre bağlarım, sitenin tamamına değil.
robots.txt ile karıştırmayın
İkisi farklı işler yapar ve karıştırılmaları denetimlerde en sık gördüğüm hatalardan biri:
- robots.txt taramayı engeller. Bot dosyaya hiç bakmaz.
- X-Robots-Tag dizine eklemeyi engeller. Bot dosyayı okur, talimatı görür ve dizine koymaz.
Buradan çıkan sonuç önemli. Bir adresi robots.txt ile kapatıp üstüne dizine kapatma talimatı vermek işe yaramaz: Bot taramaya giremediği için başlığı hiç göremez ve adres başka sitelerin verdiği bağlantılar üzerinden dizinde kalabilir. Dizinden çıkarmak istiyorsanız taramaya açık bırakıp talimatı okutmanız gerekir.
Nasıl kontrol edilir?
Sayfanın kaynağına bakmak yetmez, başlık orada görünmez. Tarayıcının geliştirici araçlarındaki Ağ sekmesinde dosyayı açın ve yanıt başlıklarında satırın gerçekten döndüğünü görün. Search Console'daki URL Denetimi Google'ın o adreste ne gördüğünü söyler; şüphedeyken en güvenilir kaynak odur. Search Console dizine ekleme raporu ise bu yüzden dışarıda kalan adresleri toplu listeler.
Bu sitede ne gördüm
13 Eylül 2026'daki teknik denetimde 175 adresi taradım ve hiçbirinde X-Robots-Tag başlığı yoktu. Bu bir eksik değil. Dizine kapalı tutmak istediğim üç yasal sayfa ve 404 sayfası noindex,follow kararını meta etiketle taşıyor; HTML oldukları için başlığa ihtiyaçları yok.
13 Ekim 2026'da site haritası, robots.txt, llms.txt ve RSS akışının yanıtlarını tek tek okudum. Dördünde de başlık yok, yani yanlışlıkla genişleyen bir sunucu kuralı bulunmuyor. Bir kural yazdığımda kapsamadığından emin olduğum bir adresi de mutlaka ölçerim; sessizce dizine kapanan bir bölüm hiçbir yerde hata üretmez, yalnız trafik düşer. Bu kontrolü teknik SEO denetiminin sabit adımı olarak yapıyorum.