Untuk mengatur konten robot.txt khusus, Anda harus :
· Masuk ke dashboar blogger anda
· Setting
· Referensi Penelusuran
· klik di robot.txt khusus
· Centang OK.
· Kemudian masukan kode berikut.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.URL-Anda.com/sitemap.xml
User-agent: Mediapartners-Google
Digunakan untuk penanda bahwa blog menggunakan google adsense
Disallow
yang tidak diperbolehkan
User-agent: *
Semua robot mesin pencari
Disallow: /search
Tidak mengijinkan url setelah/search
Allow: /
yang di ijinkan dirayapi ( tanda / adalah namablog)
Sitemap: http://www.URL-Anda.com/sitemap.xml
Adalah peta situs blog anda
Dan Anda juga bisa mengatur laman yang tidak ingin di rayapi atau di Indeks. misalnya yang tidak mau dirayap atau di indeks oleh robot mesin pencari adalah laman about me, maka Anda tinggal tambhkan :
Disallow: /p/about-me.html
(Lihaut di addres bar about me, harus sama dengan URL seperti http://uifjimc.blogspot.com/p/about-me.html)
Tempelkan di antara kode
Disallow: /search
Terserah mau di atas mu dibawahnya juga tidak masalah.
Untuk setiap url yang tidak mau di rayap anda bisa tambhkan seperti contoh di atas.
