parallax

Robots.txt Nedir ve Nasıl Oluşturulur?

robots-txt-nedir-nasil-olusturulur

Arama motorları botları, web sitelerinin sayfalarını tararlar ve arşivlerler. Ancak zaman zaman web sitemize ait olan her sayfanın arama motoru botları tarafından bulunmasını istemeyiz. İşte tam da burada Robots.txt metin dosyaları devreye girer. Arama motorlarına kapatmak istediğiniz her sayfa ya da uzantıyı Robots.txt dosyaları ile gizleyebiliriz. Ancak bu dosya oluşturulurken dikkat edilmesi de gerekir. Çünkü yanlış oluşturulan bir Robots.txt dosyası sitenizin önemli sayfalarını, arama motorları tarafından bulunmasını istediğiniz sayfaları da erişime kapatabilir. SEO açısından önemli olan bu duruma nasıl dikkat edilir, bu dosya nasıl oluşturulur gelin hep birlikte inceleyelim;

Robots.txt Nedir?

Robots.txt metin dosyası, herhangi bir arama motoru için sitenizin hangi sayfa ya da bölümlerinin dizine ekleneceğini ya da eklenemeyeceğini söyleyen basit bir komut dosyasıdır. Arama motorları tarafından görevlendirilen, örümcek adı da verilen botlar sitenize geldiğinde ilk önce bu dosyayı tarar ve bu dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler ya da eklemez. Eğer Robots.txt dosyanız doğru bir şekilde hazırlandıysa, arama motoru robotları yazdığınız bu  komutlara uygun bir şekilde tarama işlemlerini gerçekleştirecektir.

Gördüğünüz üzere Robots.txt dosyası her web sitesinde mutlaka olması gereken bir dosyadır, tabii doğru hazırlanmış bir şekilde.

robots-txt-ornek

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt komut dosyası belli standartlar çerçevesinde hazırlanmalı ve web sitenizin kök dizinine bu şekilde yüklenmelidir. Öncelikle web sitenizin kök dizininde robots.txt dosyanızın bulunması bir gerekliliktir ve dosya oluşturulurken bir alt klasörde ya da farklı sayfalarda yer almaması gerekir.

Örnek bir doğru kullanım göstermemiz gerekirse; https://www.ornek.com/robots.txt şeklinde olabileceğiniz söyleyebiliriz. Ancak https://www.ornek.com/main/robots.txt kullanımı robots.txt için yanlış bir kullanım olacaktır.

Robots.txt dosyası düz metinden oluşmalıdır ve UTF-8 karakter kodlamaları kullanılmalıdır. Dosya sürekli güncellenebilir olduğu için istediğiniz zaman üzerinde çalışabileceğiniz bir şekilde tutmalı, gizlememeli ya da kaldırmamalısınız.

Robots.txt Komutları

Robots.txt içerisinde kullanılan bazı standartlaşmış komutlar bulunmaktadır. Bunlar temel olarak şu şekilde sıralanabilir;

Grup Komutları; Arama motorları engelleme ya da izin verme, dizin engelleme/izin verme, sayfa engelleme/izin verme ve tarama geciktirmesi

Grup Dışı Komutlar; Site haritası belirtme

Robots.txt Dosyasında Kullanılabilen Özel Komutlar

 

Grup Komutları

Dosya içerisinde net ve kesin ifadelerden oluşması gereken grup komutlarında eğer bir yazım yanlışı yapılırsa bu komut dikkate alınmaz. Yine komutlar içerisinde büyük-küçük harf kullanımına, özel karakter ayrımlarına dikkat edilmesi gerekir. En çok kullanılan grup komutları şunlardır;

User-agent

Bu komut hangi arama motorunun web sitenizi taramasına izin verip vermeyeceğini belirtmesine yardımcı olur. Tüm tarayıcılara tarama izni vermek isterseniz eğer * işaretini kullanabilirsiniz. Ya da sadece bir tarayıcı için izin verecekseniz tarayıcı adını belirtebilirsiniz.

robots-txt-disallow

Dizin Engelleme / İzin verme

Disallow ya da Allow komutları kullanılarak sitedeki belli dizinlere erişim kaldırılabilir ya da izin verilebilir. Bu erişim izinleri sadece arama motorlarına yönelik olup kullanıcılar komut verilen dizine ulaşmaya devam edebileceklerdir.

robots-txt-disallow

Yukarıdaki komut kullanıldığında arama motorunuz https://www.ornek.com/tarama/ URL’sine sahip olan “tarama” dizinini taramayacak ve yine bu dizin içerisinde bulunan sayfaları dizine eklemeyecektir.

Sayfa Engelleme / İzin Verme

Aynı şekilde disallow ya da allow komutları kullanılarak belirli sayfalara erişim izninin verilmesi ya da verilmemesidir.

 

robots-txt

Yukarıdaki komut kullanıldığında, https://www.ornek.com/ozel-tarama.html URL’sine sahip olan sayfadaki içerik taranmayacak ve dizine eklenmeyecektir.

Allow komutu da disallow komutunun tam tersi olarak işlem yapar ve Disallow komutu kullanımını geçersiz kılar.

robots-txt-allow

Yukarıdaki gibi Allow ve Disallow komutları birlikte kullanılırsa tarama dosyası içerisindeki demo.html sayfası hariç diğer dosyaların taramasını kapatmak anlamına gelecektir. Bu örnekten de anlaşılacağı üzere Google botları önce Allow sonrasında Disallow komutunu işleme alacaktır.

Tarama Geciktirme (Crawl-delay)                                

Bu komut sayesinde arama motoru botlarının tarama için harcayacağı zamanı sınırlandırmanız mümkün. Örneğin geç açılan bir web siteniz varsa ve arama motoru botlarının sayfanıza kötü puan vermesini istemiyorsanız açılış süresini buna göre ayarlayabilirsiniz.

robots-txt-tarama-geciktirme

Grup Dışı Komutlar

Grup dışı olarak geçen en önemli komut sitemap.xml komutudur. Bu komut, arama motoru botlarına önemli bilgiler verdiği için, sitenize gelen botların taradığı ilk yer olarak söylenebilir. Bu nedenle sitenizde sitemap.xml dosyası bulunmazsa bu bir dezavantaj yaratabilir. Kullanımı da oldukça basit olan bu komut için sitemap.xml dosyasının URL’sini doğru yazmanız yeterlidir.

sitemap-xml

Robots.txt Dosyasında Kullanılabilen Özel Komutlar

Robots.txt komut dosyasına ekleyeceğiniz özel ifadeler ile belli bir karakteri ya da URL uzantısını içeren sayfaları da istediğiniz arama motoru robotlarına kapatabilirsiniz.

Örneğin;

robots-txt

robots-txt

Son olarak söylemeliyiz ki; eğer web sitenizi yeni kuruyor ya da tasarımını değiştiriyorsanız mutlaka ilk kontrol etmeniz gereken şey robots.txt dosyasıdır. Hali hazırda bir dosyanız yoksa da oluşturmalı ve web sitenize eklemelisiniz. Özellikle SEO açısından kullanılmaması büyük dezavantaj olan Robots.txt dosyası yoksa web sitenizde, arama motoru botları noindex etiketi olmayan sayfaları tarayacaklardır. Taranmasını istemediğiniz her sayfa ve klasöre noindex etiketini tek tek yerleştirmek yerine Robots.txt dosyası oluşturarak zaman kazanabilir ve sitenizin istediğiniz arama motoru dizinine istediğiniz şekilde eklenmesini sağlayabilirsiniz.

Siteniz için SEO Analizi yapma konusunda fikir sahibi olmak için buraya tıklayarak yazımızı inceleyebilirsiniz.

Mine Yıldız

SEO Analyst

before
Dijital dünyamıza siz de katılmak ister misiniz?
form
Whatsapp
Sizi Arayalım
Form Doldur
X
FORMU DOLDURUN
SİZİ ARAYALIM
  • Kampanyalardan Telefon, Sms ve Mail yoluyla haberdar olmak ister misiniz?