Kali ini saya membahas tentang cara Membuat Robots.txt di Google Webmaster Tools langsung saja , begini caranya
- Sign in ke Webmaster Tools, kemudian klik situs yang Anda inginkan.
- Di menu Site configuration, klik Crawler access.
- Klik tab Generate robots.txt .
- Pilih default crawler kamu .Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .
- Tentukan aturan untuk si robot ini . contoh , saya akan memblok folder1 agar tidak di crawl oleh si robot :
- Di Action list, Pilih Disallow.
- Di Robot list, Klik Googlebot.
- Di Files atau direktori , ketikan /folder1 .
- Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .
- Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya, save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting.
1 comments:
Thx gan atas infonya...
Apakah klo gak ada file robots.txt website kita tdk akan terdeeteksi google???
Makasih...
Salam kenal...
Posting Komentar