Robots.txt Dosyası Nedir?

Günümüzde, internet kullanıcılarının internette yeni bilgiler bulmak istediklerinde arama motorları başvurulan araçtır. Web sitenizin bir arama motorunda üst sıralarda yer alması, ziyaretçi sayınızı arttırmanın en iyi yollarından biridir. Bu arama motorları, sitelerinizi bağlantılar ve içeriği taramak için örümcek yazılımını kullanırlar. Bu tarayıcılar daha sonra sitenizin içeriğini dizine ekleyerek sayfalarınızın arama motorlarının SERP (yani Arama Motoru Sonuç Sayfası) sayfalarında görünmesini sağlar.

Robots.txt etki alanının köküne yerleştirilen bir metin dosyasıdır. Örümceklere hangi sayfaları taramalarına izin verildiğini ve hangilerinin taranmayacağını bildirir. Başlangıçta robots.txt, özellikle site iyi bir dahili bağlantı sistemine sahip değilse, örümceklerin sitenin tüm sayfalarını bulmasına yardımcı olmak için kullanılıyordu. Ancak bu botlar piyasaya sürüldüklerinden beri bir sitedeki tüm sayfaları bulma ve dizine ekleme konusunda çok başarılı oldular, peki robots.txt dosyası şimdi neden bu kadar kullanışlı?

İnternetin giderek artan popülaritesi ile web siteleri yalnızca boyut olarak büyüyor ve bunlara her gün yeni web sayfaları ekleniyor. Bir arama örümceği bir web sitesine ulaştığında, kaç sayfa tarayacağına ilişkin önceden belirlenmiş bir “ödeneğe” sahiptir ve buna tarama bütçesi denir. Sitenizin bazı bölümlerini web tarayıcılarından engellemek, en değerli sayfalarınız için tarama bütçesini kullanmanıza olanak tanır. SEO optimizasyonu yapılırken sitenin daha sorunlu veya SEO açısından optimize edilmemiş sayfalarının tarayıcılardan gizlenmesi de faydalı olabilir.

Sitenin içeriği filtrelemek ve sıralamak için çok sayıda sorgu dizesi parametresi kullandığı durumlarda, herhangi bir kombinasyonda kullanılabilecek en az 10 farklı parametreye sahip olmak üzere binlerce olası URL oluşturabilir. Tüm sorgu parametrelerinin taranmasını engellemek, örümcekler ana sayfalarınıza ulaşmadan önce tarama bütçenizin azalmasını önlemek için çok önemlidir.

Peki, bir robot dosyası nasıl yapılır? Genellikle, her biri User-agent ile başlayan yönerge bloklarından oluşur. Bu, hitap ettiği belirli botun adıdır (ör. Googlebot, Google’ın örümceğidir). Ardından, önceden tanımlanmış botun hangi dizinleri/sayfaları/dosyaları ziyaret etmemesi gerektiğini belirten İzin Vereceğini belirler. Bu satırlardan bir veya daha fazlasına sahip olabilirsiniz boş bırakmak, örümceğin sitenizin tüm bölümlerine erişmesini sağlayacaktır.

Aşağıda robots.txt dosyalarına ilişkin bazı örnekler ve ne anlama geldikleri verilmiştir:

User-agent: *

Disallow: /

Bu iki satır, tüm botların sitenizin tamamını taramasını engeller.

User-agent: Googlebot

Disallow: /confidential

Bu, Google’ın örümceğinin /gizli dizini taramasını durduracaktır.

robots.txt dosyasının büyük/küçük harf duyarlı olduğunu ve belirli arama motorlarının başkalarının kabul etmediği bazı yönergelere sahip olabileceğini unutmayın. Örneğin Google, İzin Verme yönergesinin tersini yapan İzin Ver yönergesini kullanır.