DOLAR 8,6373
EURO 10,1419
ALTIN 488,80
BIST 1.401
Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul 25°C
Parçalı Bulutlu
İstanbul
25°C
Parçalı Bulutlu
Çar 23°C
Per 18°C
Cum 21°C
Cts 24°C

Robots.txt Dosyası Nedir?

Robots.txt Dosyası Nedir?
28.07.2021 - 15: 42: 28
A+
A-
Abone Ol 

Günümüzde, internet kullanıcılarının internette yeni bilgiler bulmak istediklerinde arama motorları başvurulan araçtır. Web sitenizin bir arama motorunda üst sıralarda yer alması, ziyaretçi sayınızı arttırmanın en iyi yollarından biridir. Bu arama motorları, sitelerinizi bağlantılar ve içeriği taramak için örümcek yazılımını kullanırlar. Bu tarayıcılar daha sonra sitenizin içeriğini dizine ekleyerek sayfalarınızın arama motorlarının SERP (yani Arama Motoru Sonuç Sayfası) sayfalarında görünmesini sağlar.

Robots.txt etki alanının köküne yerleştirilen bir metin dosyasıdır. Örümceklere hangi sayfaları taramalarına izin verildiğini ve hangilerinin taranmayacağını bildirir. Başlangıçta robots.txt, özellikle site iyi bir dahili bağlantı sistemine sahip değilse, örümceklerin sitenin tüm sayfalarını bulmasına yardımcı olmak için kullanılıyordu. Ancak bu botlar piyasaya sürüldüklerinden beri bir sitedeki tüm sayfaları bulma ve dizine ekleme konusunda çok başarılı oldular, peki robots.txt dosyası şimdi neden bu kadar kullanışlı?

İnternetin giderek artan popülaritesi ile web siteleri yalnızca boyut olarak büyüyor ve bunlara her gün yeni web sayfaları ekleniyor. Bir arama örümceği bir web sitesine ulaştığında, kaç sayfa tarayacağına ilişkin önceden belirlenmiş bir “ödeneğe” sahiptir ve buna tarama bütçesi denir. Sitenizin bazı bölümlerini web tarayıcılarından engellemek, en değerli sayfalarınız için tarama bütçesini kullanmanıza olanak tanır. SEO optimizasyonu yapılırken sitenin daha sorunlu veya SEO açısından optimize edilmemiş sayfalarının tarayıcılardan gizlenmesi de faydalı olabilir.

Sitenin içeriği filtrelemek ve sıralamak için çok sayıda sorgu dizesi parametresi kullandığı durumlarda, herhangi bir kombinasyonda kullanılabilecek en az 10 farklı parametreye sahip olmak üzere binlerce olası URL oluşturabilir. Tüm sorgu parametrelerinin taranmasını engellemek, örümcekler ana sayfalarınıza ulaşmadan önce tarama bütçenizin azalmasını önlemek için çok önemlidir.

Peki, bir robot dosyası nasıl yapılır? Genellikle, her biri User-agent ile başlayan yönerge bloklarından oluşur. Bu, hitap ettiği belirli botun adıdır (ör. Googlebot, Google’ın örümceğidir). Ardından, önceden tanımlanmış botun hangi dizinleri/sayfaları/dosyaları ziyaret etmemesi gerektiğini belirten İzin Vereceğini belirler. Bu satırlardan bir veya daha fazlasına sahip olabilirsiniz boş bırakmak, örümceğin sitenizin tüm bölümlerine erişmesini sağlayacaktır.

Aşağıda robots.txt dosyalarına ilişkin bazı örnekler ve ne anlama geldikleri verilmiştir:

User-agent: *

Disallow: /

Bu iki satır, tüm botların sitenizin tamamını taramasını engeller.

User-agent: Googlebot

Disallow: /confidential

Bu, Google’ın örümceğinin /gizli dizini taramasını durduracaktır.

robots.txt dosyasının büyük/küçük harf duyarlı olduğunu ve belirli arama motorlarının başkalarının kabul etmediği bazı yönergelere sahip olabileceğini unutmayın. Örneğin Google, İzin Verme yönergesinin tersini yapan İzin Ver yönergesini kullanır.

 

ETİKETLER:
YORUMLAR

Henüz yorum yapılmamış. İlk yorumu yukarıdaki form aracılığıyla siz yapabilirsiniz.