Web sitelerinizde bazen sitenin internette indexlenmesini istemeyebilirsiniz. Bu siteyi farklı şeyler için kullanabilirsiniz. Yaptığınız sitenin indexlenmemesi için sitenize aşağıdaki meta kodlarını <head> … </head> etiketleri arasına ekleyiniz.
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Bu kodları ekledikten sonra index.html, index.php sayfalarının bulunduğu dizine robots.txt dosyası oluşturuyoruz. Aşağıdaki örnek kullanımlardan kendinize göre olanı seçip robots.txt içine ekleyiniz.
Örnek Kullanımlar
Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; ” * ” yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.
User-agent: *
Disallow:
Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
User-agent: *
Disallow: /
Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;
User-agent: BadBot # ‘BadBot’ kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/
Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.
User-agent: *
Disallow: /directory/dosyaniz.html
Kod içinde yorum yazılan örnekler;
# Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
User-agent: * # bütün botları kapsasın
Disallow: / # bütün botları uzak tutsun
Diğer Benzer Yazılar:
- Astrill VPN SSL Bağlantı Hata Çözümü / Astrill VPN SSL Connection Error Solution
- Bilinmesi Gereken Farklı Bilgiler
- En Popüler Instagram Tagları
- Michael Jackson, Öne Eğilirken Kütleçekimini Nasıl Yeniyordu?
- WhatsApp’ta Mavi Tiki Kapatma