Cara Membuat Robots.txt di Google Webmaster Tools

Kali ini saya membahas tentang cara Membuat Robots.txt di Google Webmaster Tools langsung saja , begini caranya 

1. Sign in ke  Webmaster Tools, kemudian klik situs yang Anda inginkan.
2. Di menu Site configuration, klik Crawler access.
3. Klik tab Generate robots.txt .
4. Pilih default crawler kamu .Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .
5. Tentukan aturan untuk si robot ini . contoh , saya akan memblok folder1 agar tidak di crawl oleh si robot :
   1. Di Action list, Pilih Disallow.
   2. Di Robot list, Klik Googlebot.
   3. Di Files atau direktori , ketikan /folder1 .
   4. Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .
6. Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya, save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting.

Artikel Terkait di Bawah posting

Posted in: SEO