X-Robots-Tag, arama motorlarına verilen tarama ve dizine ekleme talimatlarını HTML içindeki bir etiketle değil, HTTP yanıt başlığıyla ileten yöntemdir. Söylediği şeyler meta robots etiketiyle aynıdır, söylendiği yer farklıdır.
Neden gerekli?
Meta robots etiketi HTML’in içine yazılır. Peki dosya HTML değilse? Bir PDF’in, bir görselin ya da bir CSV çıktısının içine etiket koyamazsınız. Bu dosyaları dizine kapatmanın tek yolu yanıt başlığıdır.
Bu, sanıldığından çok daha sık karşılaşılan bir durumdur. Fiyat listeleri, kataloglar, teklif şablonları ve rapor çıktıları PDF olarak yayımlanır ve hiç kimse istemeden arama sonuçlarında görünür.
robots.txt ile karıştırmayın
İkisi farklı işler yapar ve karıştırılması en sık yapılan hatadır:
- robots.txt taramayı engeller. Bot dosyaya hiç bakmaz.
- X-Robots-Tag dizine eklemeyi engeller. Bot dosyayı okur, talimatı görür ve dizine koymaz.
Buradan çıkan sonuç önemli: bir adresi hem robots.txt ile kapatıp hem dizine kapatma talimatı vermek işe yaramaz. Bot taramaya giremediği için talimatı hiç göremez ve adres başkalarının verdiği bağlantılar üzerinden dizinde kalabilir. Dizinden çıkarmak istiyorsanız taramaya açık bırakıp talimatı okutmanız gerekir.
Nasıl doğrulanır?
Sayfanın kaynağına bakmak yetmez, başlık orada görünmez. Yanıt başlıklarını okuyan bir araçla dosyayı isteyin ve başlığın gerçekten döndüğünü görün. Search Console’daki adres denetimi de Google’ın o adreste ne gördüğünü söyler; şüphedeyken en güvenilir kaynak odur.
Dikkat: sunucu genelinde açmak
Bu başlık çoğunlukla sunucu yapılandırmasından verilir ve kapsamı yanlış yazıldığında istenmeyen adresleri de kapsar. Bir kural yazdıktan sonra kapsamadığından emin olduğunuz bir adresi de mutlaka ölçün; sessizce dizine kapanan bir bölüm hiçbir yerde hata üretmez, yalnız trafiğiniz düşer.