Robots.txt Nedir? Nasıl Kullanılır?

Merhaba Etkenblog okurları ,
Bu yazımızda sizlere robots.txt hakkında bilgiler vereceğiz.

Robots.txt Nedir?
Robots.txt arama motorlarında sayfalarınızdan hangilerinin indexlenip hangilerinin indexlenmeyeceğini belirtmenizi sağlar.Arama motorları da buna göre sitenizi indexler veya indexlemez.

Robots.txt Nasıl Kullanılır?
Robots.txt adında dosya oluşturuyoruz.(Metin belgesi)
İçine aşağıdaki kodlardan birini yazıp sitemizin anadizinine atıyoruz.(www , httpdocs , public_html klasörlerinden birine)

Robots.txt Sitenizin Tamamını İndexletme Kodu
User-agent: *
Disallow:

Robots.txt Sitenizi İndexletmeme Kodu

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow:


Robots.txt Dizinlerden Birini İndexletme Kodu

User-agent: *
Disallow: /dizin-adi/

Robots.txt Bir Sayfayı İndexletmeme Kodu

User-agent: *
Disallow: /dizin-adi/indexlenmeyecek-sayfa.html



İyi günler...