Arama motorları, aksi belirtilmedikçe, zamanla web sitenizin tüm sayfalarını ve dosyalarını tarayacaktır. Bir sayfaya işaret eden en az bir bağlantı olduğu sürece, arama motorları onu bulacaktır.
Çok fazla ayrıntıya girmeden bilmeniz gereken en önemli kavram, tarama çabaları sırasında toplanan bilgileri arama sıralaması atamak için kullanmalarıdır. Bir sayfanın nerede sıralanması gerektiğini belirlemek için arama motorlarının onu taraması gerekir.
Bununla birlikte, web sitenizin bazı sayfaları muhtemelen diğerlerinden daha değerlidir.
Örneğin, web siteniz yinelenen içerikten oluşan sayfalara sahip olabilir veya ücretli reklam kampanyaları için belirlenmiş açılış sayfalarına sahip olabilir. Arama motorlarının bu istenmeyen sayfaları taramasına izin vermek, onları yalnızca web sitenizin daha değerli sayfalarından uzaklaştıracaktır.
Arama motorlarının istenmeyen sayfaları taramasını engellemek için bir robots.txt dosyası oluşturmanız gerekir.
Robots.txt Dosyası Nedir?
Robot dışlama standart protokolü olarak da bilinen robots.txt dosyası, arama motorlarının birlikte kullanıldığı web sitesini nasıl taraması gerektiğine ilişkin talimatları içeren bir bilgisayar dosyasıdır. Arama motorlarına, web sitenizin hangi sayfalarını, dosyalarını veya dizinlerini taramamaları gerektiğini söylemek için kullanabilirsiniz.
Web sitenize ilk geldiklerinde, arama motorları bir robots.txt dosyası için kontrol eder. Bir robots.txt dosyası varsa, belirtilen konumlardan kaçınarak yönergelerine uyacaklardır.
Peki bunu kendi blogunuzda veya WordPress sitenizde nasıl yapabilirsiniz?
WordPress Blogunuza veya Web Sitenize Robots.txt Dosyası Ekleme
1) Kök Dizine Yükle
Arama motorları, web sitenizin robots.txt dosyasını kök dizininde arayacaktır. Bir alt dizine yerleştirirseniz, bulamayabilirler.
Arama motorları robots.txt dosyasını bulsalar bile, standart özellikle bir kök dizin yerleşimi gerektirdiğinden, yönergelerine uymazlar.
Bir robots.txt dosyası oluşturduktan sonra, bunu web sitenizin ana sayfasının bulunduğu kök dizine yükleyin.
2) Tek Dosya Oluşturun
Web siteniz için yalnızca tek bir robots.txt dosyası oluşturmalısınız. Arama motorlarının bir sayfayı veya 1.000 sayfayı taramasını engellemek istiyorsanız, gerekli tüm yönergeleri tek bir dosyaya yerleştirebilirsiniz.
Yönergeleri birden çok robots.txt dosyasına dağıtmak işe yaramaz. Dosyayı “robots.txt” olarak adlandırmanız ve web sitenizin kök klasörüne yerleştirmeniz gerekir.
Aynı dizinde aynı ada sahip birden fazla dosyanız olamayacağından, birden çok robots.txt dosyası kullanamazsınız.
3) Düz Metin Biçiminde Kaydet
Arama motorlarının web sitenizin robots.txt dosyasını tanıması ve onaylaması için, onu düz metin biçiminde kaydetmeniz gerekir. Herhangi bir Köprü Metni Biçimlendirme Dili (HTML) kodu, Köprü Metni Ön İşlemcisi (PHP) kodu veya Basamaklı Stil Sayfaları (CSS) kodu içermemelidir.
Tarama talimatlarını arama motorlarına iletmesi için gereken tek şey düz metindir. Bu nedenle, Windows için Not Defteri veya macOS için TextEdit gibi temel bir metin düzenleyiciyi kullanarak bir robots.txt dosyası oluşturabilirsiniz.
Düz metin biçimini ifade eden “.txt” ifadesini gösterdiğinden emin olmak için kaydetmeden önce dosya uzantısını kontrol etmeyi unutmayın.
4) Satır Başına Bir Yönerge Yerleştirin
Bir robots.txt dosyası oluştururken, her satıra bir yönerge yerleştirin. Örneğin, Googlebot’un iki sayfayı taramasını engellemek için, her biri ayrı bir satıra yerleştirilmiş iki ayrı yönerge oluşturmanız gerekir.
Googlebot’u iki kez belirtmeniz gerekmez. Bunun yerine, Googlebot’u tek bir kez doğrudan yönerge çiftinin üzerinde belirtebilirsiniz.
Robot dışlama standardı, grupların kullanılmasını gerektirir. Her grup, yönergelerin amaçlandığı kullanıcı aracısı veya aracıları belirten bir satır ve ardından satırla ayrılmış yönergelerin kendileri içermelidir. Birden fazla grup kullanıyorsanız, bunları boş bir satırla ayırın.
Google’ın iki sayfayı taramasını engelleyen bir yönerge grubu örneği aşağıda verilmiştir:
User-agent: Googlebot
Disallow: /category/page-one.html
Disallow: /category/page-two.html5) Büyük Harf Kullanımına Dikkat Edin
Web sitenizin robots.txt dosyasını oluştururken büyük harf kullanımının bilincinde olmanız gerekir. Kullanıcı aracısı adları – arama motorlarının tarayıcılarının adları – büyük / küçük harfe duyarlı olmasa da, dosya yolları. Bir yönergede listelenen bir dosya yolu, gerçek yol büyük harf kullandığında küçük harfler kullanıyorsa, arama motorları buna uymayacaktır.
Bir dosya yolu, bir yönerge grubundaki sayfaya, dosyaya veya dizine işaret eden bir konumdur. Tüm dosya yolları bir eğik çizgiyle başlamalı ve ardından arama motorlarının taramadan kaçınmasını istediğiniz sayfanın, dosyanın veya dizinin tam konumu gelmelidir.
Yanlış büyük harf kullanımı yönergeyi geçersiz kılar, bu da arama motorlarının onu taramaya devam edeceği anlamına gelir.
6) Hataları Test Edin
Web sitenizin robots.txt dosyasını hatalara karşı test etmek iyi bir fikirdir.
Google, yaygın hataları ortaya çıkarabilen bir robots.txt dosyası test aracı sunar . Kullanmak için web sitenizi Google Arama Konsoluna ekleyin, test aracının URL’sini ziyaret edin ve doğrulanmış mülklerin açılır menüsünden sitenizi seçin.
Google’ın robots.txt dosyası test aracı, web sitenizin robots.txt dosyasını görüntüler. Yanlış sözdizimi gibi mevcut herhangi bir hata varsa, bunları vurgular.
URL’lerin engellenmesini doğrulamak için Google’ın robots.txt dosyası test aracını da kullanabilirsiniz. Googlebot’un bir sayfayı taramasını engellemek için bir yönerge oluşturduysanız, test aracının altındaki alana sayfanın dosya yolunu girin ve “TEST” düğmesini tıklayın.
7) Site Haritasını Belirtin
Ana amacı arama motorlarının belirli sayfaları, dosyaları veya dizinleri taramasını engellemek olsa da, web sitenizin site haritasını belirtmek için bir robots.txt dosyası da kullanabilirsiniz.
Web sitenizin kök dizinine bir site haritası yükledikten sonra, sitenizin robots.txt dosyasında konumunu gösteren benzersiz bir yönerge türü oluşturabilirsiniz. Arama motorları, web sitenizin tüm sayfalarının okunması kolay bir listesini bulabilecekleri site haritasını ziyaret edecek.
Site haritası yönergesi aşağıdaki biçimi kullanır:
Unutmayın, web sitenizin site haritasının dosya yolu sitenizin alanını ve önekini içermelidir. Geleneksel reddetme direktifleri oluştururken bu bilgileri atlayabilirsiniz.
Bir robots.txt dosyasıyla, arama motorlarının web sitenizi nasıl tarayacağı üzerinde daha fazla kontrole sahip olacaksınız. Bu basit metin dosyasını, arama motorlarına belirli sayfaları, dosyaları veya dizinlerin tamamını taramama talimatı verirken onlara bir site haritası sağlamak için kullanabilirsiniz.
Arama motorları buna ihtiyaç duymaz, ancak arama motorlarının web sitenizin bazı kısımlarını taramasını, diğerlerini değil, bir robots.txt dosyası oluşturmaya değer.