Erman GÜNEŞ

Robots.TXT Kullanımı



Sitenize gelen botların erişimini kısıtlamak ve istemediğiniz sayfaların indexlenmesi engellemek için robots.txt dosyasını kullanabilirsiniz. Sitenize otomatik olarak gelen botlar, sayfalara erişmeden öncede robots.txt dosyası olup olmadığını kontrol ederler.

Sitenizdeki bütün içeriklerin arama motorlarında yer almasını istiyorsanız, bu yöntemi kullanmanıza gerek yoktur. Fakat bütün içeriğin index almasını istemiyorsanız robots.txt dosyasını kullanmalısınız. Bu sayede Googlebot gibi botlar sitenizi tararken, engellediğiniz içerikler görünmeyecektir.

“robots.txt” olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.


ROBOT.TXT DOSYASI OLUŞTURMA

En basit robots.txt dosyası iki kural kullanır:

User-agent: Aşağıdaki kuralın geçerli olduğu robot
Disallow: Engellemek istediğiniz URL

Bu iki satır, dosyada tek bir giriş sayılır.
İstediğiniz kadar giriş ekleyebilirsiniz.
robots.txt dosyasındaki her bölüm ayrıdır.
Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.

Örnek:
User-agent: *
Disallow: /klasor1/

User-Agent: googlebot
Disallow: /klasor2/
ROBOTS META ETİKETİNİ KULLANIN
<meta name="robots" content="noindex" />
Yukarıdaki örnekte robots meta etiketi, arama sonuçlarında sayfayı göstermemeleri için tüm arama motorlarına bildirir.

“robots” direktifi tüm tarayıcılar için geçerli olduğunu belirtir.

Sayfa taramasını sadece googlebot için, önleyecekseniz aşağıdaki etiketi kullanın:
<meta name="googlebot" content="noindex" />
NOT: Eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir.

Ayrıca hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahatlatmasın. Eğer bu bağlantılar internette başka bir yerde referans olarak verilmişse (örneğin referans veren bloglarda), bloke ettiğiniz URL’ler arama sonuçlarında referans olarak görüntülenebilir.

Hiç yorum yok

Yorum Gönder