Cara Membuat Robots.txt di Google Webmaster Tools

Kali ini saya membahas tentang cara Membuat Robots.txt di Google Webmaster Tools langsung saja , begini caranya 

1. Sign in ke  Webmaster Tools, kemudian klik situs yang Anda inginkan.
2. Di menu Site configuration, klik Crawler access.
3. Klik tab Generate robots.txt .
4. Pilih default crawler kamu .Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .
5. Tentukan aturan untuk si robot ini . contoh , saya akan memblok

folder1 agar tidak di crawl oleh si robot :

1. Di Action list, Pilih Disallow.
2. Di Robot list, Klik Googlebot.
3. Di Files atau direktori , ketikan /folder1 .
4. Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .

Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya, save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting.

Artikel Terkait di Bawah posting

SEO

• Memaksimalkan dan mengguanakan scrapebox
• Memasang star rating di blogspot
• Optimalkan SEO on page tingkatin pagerank
• Daftar Blog Doffolow Terbaru 2012 | Sumber Backlink
• Sepeda Motor Injeksi Irit Harga Terbaik Cuma Honda | Honda tehnologi PGM-FI
• Apa ito Robot.txt ?
• Cara Cepat Update PageRank dari Google
• Buat Backlink, pakai www atau tidak ?
• Konten Blogger Lama Yang Tidak Dimigrasi Ke Sistem Account Google Akan Dihapus

Posted in: SEO