![]() |
"Özel robots.txt" dosyası nedir? |
"Özel robots.txt" dosyası nedir? Ne işe yarar?
Dostlarım bir önceki yazımda da bahsettim gibi "Özel robots.txt" dosyası arama motorlarının robotlarına verdiğimiz basit talimatları içerin küçük bir kod dosyasıdır. Bu kodlar web sitelerimizde ya da bloglarımızda saklanır. Sayfalarımız tarandığında ise bu dosyada yer alan talimatlara göre dilediğimiz sayfaları tarar ve indexler. Aynı şekilde istemediğimiz sayfalara ise hiç bulaşmaz.
Bu arada unutmadan belirteyim, arama motorlarının robotları bir web sitesini taramadan önce Robots.txt dosyasını tarar.
Robots.txt dosyası Blogger'a nasıl eklenir?
Blogger kullanıcı panelinde yer alan Ayarlar kısmına ekliyoruz robot.txt dosyasını.
Yukarıda yer alan görseli takip edebilirsiniz. Eklememiz gereken kod ise aşağıda:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogunuzunadresi.blogspot.com/sitemap.xml
Robot.txt dosyasındaki kodlar neişe yarar?
Şimdi gelelim bu kodların ne anlam ifade ettiklerine. Bakalım arama motorlarının robotlarına neler demiş oluyoruz bu kodlarla.
User-agent: Mediapartners-Google: Bu kod Google AdSense kullanıcıları için. Reklamların daha iyi çalışmasını sağlıyor. Eğer bir AdSense yayıncısı değilseniz, bu kodu kullanmanıza gerek yok.
User-agent: *: Bu kod tüm arama motorları tarafından sitenizin taranmasını ve indexlenmesini sağlar.
Disallow: /search: Disallow kodu indexleme talimatı için kullanılır. Bu kodla robotlar ilgili kısımları taramaz ve indexlemez. Search kelimesiyle birlikte kullanınca da arama sonuçlarının indexlenmemesi ve taranmaması için kullanıldığın anlamına gelir.
Allow: Bu kod İngilizce terim anlamıyla da anlaşılacağı üzere tara, indexle komutları içerir. Yanına eklenen / işareti ise ana sayfa linki anlamına gelir. Örneğin şu yazımda bahsettiğim link ekleme kısmında da, href kodunun hemen yanına eklenen linkin yerine / işaret konulduğunda ana sayfaya yönlendirecektir.
Sitemap te zaten bizim sitemizin haritası. Kırmızı renkle belirttiğim alana kendi adresinizi eklemeyi unutmayın.
Sonlara doğru...
Bu konuda bu kadardı dostlarım. Özellikle son zamanlarda bu konuyla ilgili sıkça sorular aldığım için bu içerikleri eklemek istedim. Paylaştığım bu iki konu arama motorlarından daha sağlıklı sonuçlar almanıza yardımcı olacaktır. Sorularınız olursa yorum yaparak bana bildirebilirsiniz.
Hiç yorum yok:
Yorum Gönder