Meta Tagları İle Site İndexlemeyi Önleme

Web sitelerinizde bazen sitenin internette indexlenmesini istemeyebilirsiniz. Bu siteyi farklı şeyler için kullanabilirsiniz. Yaptığınız sitenin indexlenmemesi için sitenize aşağıdaki meta kodlarını <head> … </head> etiketleri arasına ekleyiniz.


<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Bu kodları ekledikten sonra index.html, index.php sayfalarının bulunduğu dizine robots.txt dosyası oluşturuyoruz. Aşağıdaki örnek kullanımlardan kendinize göre olanı seçip robots.txt içine ekleyiniz.

Örnek Kullanımlar

Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; ” * ” yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.

User-agent: *
Disallow:

Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

User-agent: *
Disallow: /

Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;

User-agent: BadBot # ‘BadBot’ kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/

Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.

User-agent: *
Disallow: /directory/dosyaniz.html

Kod içinde yorum yazılan örnekler;

# Yorumlar “#” işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
User-agent: * # bütün botları kapsasın
Disallow: / # bütün botları uzak tutsun

Diğer Benzer Yazılar:


Görüntüleme: 3.469

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir