E-ticaret sözlüğüSEO ve site trafiği

robots.txt nedir?

robots.txt, bir sitenin belirli adresleri için kurallara uyan otomatik tarayıcılara tarama izni veya engeli bildiren düz metin dosyasıdır. Dizine eklenmeme talimatı ve özel sayfaların erişim güvenliği ayrı konulardır.

Son kontrol: 26 Ekim 20266 resmî kaynakGündem Masası

Tanım

robots.txt, bir sitenin belirli adresleri için kurallara uyan otomatik tarayıcılara tarama izni veya engeli bildiren düz metin dosyasıdır.

Bir bakışta

Biçim ve konumUTF-8 düz metin; ilgili ana makinenin kökü

Kurgu ürün hatası20 / 200 × 100 = %10 yanlış engel

Kurgu izinli ürün180 / 200 × 100 = %90

Güvenlik dayanağı6698 sayılı Kanun md. 12; erişim kontrolü ayrıca gerekir

Robots.txt hangi kararı uygular?

robots.txt, arama motoru tarayıcılarının sitenizdeki belirli yollara erişimini yönetmek için kullanılır. Türkiye’de kendi mağazasını yöneten satıcı önce hangi adreslerin neden taranmasını istediğini belirlemelidir. Satışa açık ürün sayfalarıyla çok sayıda benzer filtre adresi aynı işlevi taşımayabilir. Kararı yalnız “daha az sayfa taransın” isteğiyle vermeyin; müşterinin ve arama motorunun ürün bilgisine ulaşabilmesini de değerlendirin. Google’ın giriş belgesi, sayfanın anlaşılması için gerekli stil veya komut dosyası gibi kaynakların engellenmemesi gerektiğini açıklar. Ürün sayfasının görünümü başka kaynaklara bağlıysa yalnız sayfa adresini kontrol etmek yeterli olmaz.

Dosyadaki kurallar tarayıcıya yönelik talimatlardır. RFC 9309 bunların erişim yetkilendirmesi olmadığını açıkça belirtir. Müşteri hesabı veya özel sipariş belgesi için güvenliği bu dosyaya bağlamayın. Bağlantıyı bilen kişinin sayfayı açıp açamadığını uygun yetki kontrolleriyle inceleyin. KVKK kapsamında kişisel veriler için 6698 sayılı Kişisel Verilerin Korunması Kanunu md. 12’deki teknik ve idari tedbirler ayrıca önem taşır. Özel kayıtları korumak için kimlik doğrulama ve erişim yetkisi düzenlenmelidir. Robots.txt içine özel bir adresin yolunu yazmak o kaydı güvenli hale getirmez; erişim kontrolü sayfanın kendisinde uygulanmalıdır.

Dosyanın kapsamı ve kuralları nasıl okunur?

Google’ın oluşturma belgesi robots.txt dosyasının ilgili sitenin kökünde, UTF-8 düz metin biçiminde bulunmasını ister. Dosyanın kapsamı protokol, ana makine ve bağlantı noktasıyla sınırlıdır. Ana mağazanın dosyasının başka alt alan adındaki bütün kuralları da yönettiğini varsaymayın. Satıcı teknik ekibine hangi alan ve alt alanların kullanıldığını bildirsin. Yönetilen mağaza altyapısında dosya doğrudan düzenlenemeyebilir; sağlayıcının mevcut ayar yöntemini kontrol edin. Başka mağazadan alınan dosyayı kendi site yapınızı incelemeden kullanmayın. Aynı görünen klasör adı iki mağazada farklı içerik taşıyabilir; kuralı gerçek adres listesi üzerinde değerlendirin.

User-agent satırı kural grubunun hedeflediği tarayıcıyı, Allow ve Disallow satırları ilgili yol iznini veya engelini belirtir. Dosyada ayrıca site haritası adresi bildirilebilir. Tek bir satırı dosyanın geri kalanından koparıp yorumlamayın; hangi grupta bulunduğunu ve gerçek adresle nasıl eşleştiğini teknik ekiple kontrol edin. Google belgesi yol eşleşmesinin büyük ve küçük harfe duyarlı olduğunu da açıklar. Bu nedenle ürün adresindeki harf farkını önemsiz saymayın. Kontrol kaydına kullanılan tam adresi ve hedeflenen tarayıcıyı yazın. Açıkça izin verildiğini sandığınız bir ürünün daha geniş kural nedeniyle engellenip engellenmediğini örneklerle inceleyin.

Noindex ve canonical neden ayrı araçlar?

Noindex dizine eklenmeme talimatıdır; robots.txt ise taramayı yönetir. Google taramaya kapatılan bir sayfanın adresini başka bağlantılardan öğrenip arama sonucunda gösterebilir. Dolayısıyla “Disallow yazdım, adres aramadan kesin çıktı” diye raporlamayın. Google’ın noindex kuralını okuyabilmesi için sayfaya erişip taraması gerekir. İki yöntemi aynı anda düşünmeden kullanmak, Google’ın sayfadaki noindex’i görememesine yol açabilir. Hedefiniz arama sonuçlarından çıkarma ise hangi desteklenen yöntemin uygulanacağını ve mevcut dizin durumunu ayrı değerlendirin. Robots.txt içine noindex satırı eklemek Google’ın desteklediği bir yöntem değildir.

Canonical etiketi aynı veya çok benzer içerikte tercih edilen standart adresi bildirmeye yarar; robots.txt bu tercih işleminin yerine kullanılmamalıdır. İç bağlantı adresleri de kararınızla tutarlı olsun. Bir yandan ürünün taranmasını isterken diğer yandan kategori şablonunun bütün ürün yolunu engellemesi hedefle uygulamayı çeliştirir. SEO kontrolünde önce amacı adlandırın: tarama yükünü yönetmek, dizine eklemeyi önlemek veya standart adres tercihini bildirmek. Ardından uygun yöntemi seçin. Herhangi bir ayarın bulunmasını başarı ölçütü saymak yerine hangi adresin nasıl etkilendiğini inceleyin. Ürün ve kategori örneklerini ayrı listelerle test edin.

İzin ve engel örneği nasıl denetlenir?

Kurguda taranması istenen 200 ürün adresi incelensin. Bunların 20’si yanlışlıkla engellenmiş, 180’i robots.txt açısından izinli olsun. Yanlış engel oranı 20 / 200 × 100 = %10, izinli oranı 180 / 200 × 100 = %90 olur. Ayrı bir listede, inceleme sonunda taranmasının engellenmesi planlanmış 100 filtre adresi bulunsun. Bunların yalnız 40’ı hedeflenen kuralla engelleniyorsa plan uyumu %40, henüz engellenmeyen pay %60’tır. Bu kurguda filtreleri engelleme kararı önceden verilmiştir; bütün mağazaların bütün filtre adreslerini kapatması için genel öneri değildir.

İlk listedeki %10 yanlış engeli kaldırmakla ikinci listedeki %60 eksik engeli gidermek farklı düzeltmelerdir. İkisini tek bir “engellenen adres oranı” altında toplamak amacın doğru uygulanıp uygulanmadığını gizler. Değişiklikten sonra gerçek dosya yanıtını ve aynı örnek adresleri yeniden inceleyin. İzinli olmak Google’ın sayfayı mutlaka tarayacağı, dizine ekleyeceği veya satış getireceği sonucu vermez. Canlı test ve dizin bilgisi farklı aşamalara ait olabilir. Değişikliğin zamanını, hedef tarayıcıyı ve kontrol edilen adres listesini kaydedin. Sonuç değişmediyse önce kuralın doğru dosyada ve doğru kapsamda uygulanıp uygulanmadığını araştırın; geniş kapsamlı yeni engeller ekleyerek deneme yapmayın.

05 · Örnek

Örnek: İstenen izin ile istenen engeli ayrı kontrol

Kurguda taranması istenen 200 ürünün 20’si yanlış engellidir. Ayrı incelemeyle engellenmesi planlanan 100 filtre adresinin 40’ında hedeflenen engel vardır.

20 / 200 × 100 = %10 ürün hata oranını bulun.
180 / 200 × 100 = %90 izinli ürün payını bulun.
40 / 100 × 100 = %40 filtre planı uyumunu bulun.
60 / 100 × 100 = %60 eksik filtre engeli payını bulun.
Her iki grubu kendi hedefiyle ayrı düzeltip aynı adreslerle yeniden kontrol edin.

Sonuç

Ürünlerde %10 yanlış engel, filtre planında %60 eksik engel vardır; daha çok engel tek başına başarı ölçüsü değildir.

06 · Fark

robots.txt ile karıştırılan kavramlar

robots.txt ≠ Noindex

Dizine eklenmeme talimatıdır; robots.txt taramayı yönetir ve kuralın okunmasını da engelleyebilir.

robots.txt ≠ Erişim yetkisi

Kullanıcının özel içeriği görmesini sınırlar; robots.txt erişim yetkilendirmesi değildir.

robots.txt ≠ Canonical

Benzer içerikte standart adres tercihini bildirir; tarama engeli bu tercihin yerine geçmez.

07 · Satıcı için

Satıcı ne yapmalı?

Tarama izni ve engeli istenen adresleri gerekçeleriyle ayırın.
Dosyanın doğru ana makine ve protokol kapsamında bulunduğunu doğrulayın.
Tarayıcı grubunu ve yol eşleşmelerini teknik ekiple kontrol edin.
Ürünleri ve gerekli sayfa kaynaklarını yanlış engellere karşı inceleyin.
Noindex amacıyla çelişen tarama engellerini değerlendirin.
Değişiklik sonrası aynı adresleri yeniden kontrol edip kaydedin.

08 · Devamı

İlgili rehberler