Cara Setting Robots.txt Khusus
10.25.00
10 Komentar
Perlu Anda ketahui salah satu bagian terpenting dalam pengotimalan SEO adalah memudahkan akses search engine untuk merayapi website atau blog kita. Namun Anda juga harus memberikan kemudahan akses terhadap visitor atau setiap pengunjung blog yang akan membaca artikel pada blog kita. Dengan begitu blog Anda akan disukai oleh search engine dan juga para visitor dan ini salah satu point utama untuk meraih kesuksesan dalam hal Blogging. Bagi Anda yang ingin mengetahui cara setting robots.txt khusus silahkan baca dibawah ini tutorial setting robots.txt khusus dan pengertiannya :
1. Masuk ke Blogger.com
2. Klik Setelan => Preferensi Penelusuran => Edit => Ya
3. Lalu setting robots.txt seperti berikut :
User-agent: Mediapartners-GoogleCatatan :
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*?showComment=
Allow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://ficripebriyana.blogspot.com/feeds/posts/default?orderby=UPDATED
- Ganti kode yang berwarna Biru dengan URL blog Anda
Apa saja penjelasan dari robots.txt diatas ?
Saya akan menjelaskannya satu per satu, agar Anda bisa lebih memahami cara setting robots.txt khusus ini, silahkan baca penjelasan atau pengertian dari setiap kode-kode diatas :
User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog.
Disallow:
Yang tidak diperbolehkan tidak ada.
User-agent: Googlebot
Robot Google merayapi blog.
Disallow: /search
Tidak diperbolehkan merayapi folder search dan seterusnya, seperti /search/label dan lain-lain yang berawalah /search.
Disallow: /?m=1
Tidak diperbolehkan merayapi tampilan homepage (beranda) pada mobile.
Disallow: /?m=0
Tidak diperbolehkan merayapi tampilan homepage (beranda) pada smartphone atau tablet.
Disallow: /*?m=1
Tidak diperbolehkan merayapi tampilan postpage (halaman posting) pada mobile.
Disallow: /*?m=0
Tidak diperbolehkan merayapi tampilan postpage (halaman posting) pada smartphone atau tablet.
Disallow: /*?showComment=
Tidak diperbolehkan merayapi link komentar.
User-agent: *
Semua robot search engine atau mesin pencari
Allow: /
Siperbolehkan untuk merayapi semua halaman, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://ficripebriyana.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.
Itulah penjelasan dari tiap-tiap kode tobots.txt khusus, semoga dengan ini Anda lebih bisa memahami lagi cara mengoptimalkan blog dengan baik dan lebih pahan setting robots.txt khusus atau costum robots.txt khusus pada blog Anda.
Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.
Sekian artikel mengenai Cara Setting Robots.txt Khusus. Kurang lebihnya mohon maaf.
Semoga Bermanfaat...
Saya pernah menggunakan robots.txt cara di atas tapi malah di GWT banyak error di kesalahan perayapan. Terus saya ganti default aja.
BalasHapusawal-awal pasti banyak error, banyak tidaknya tergantung dari jumlah postingan,
Hapuserror di sebabkan karena kita terlalu banyak memblock, contohnya seperti yang ada pada bagian Googlebot
mau di praktekan tapi takut kacau lagi perayapannya
BalasHapushttp://sumedangsharing.blogspot.com/
ya itu sih terserah sob, ini hanya untuk masa depan blog saja...
HapusMau tanya apa ini juga di gunakan di wen agan?
BalasHapusMaaf mas saya mau tanya, apa maksud /?view=snapsot pada webmaster tool dan bagaimana cara memperbaiki duplikat judul akibat feedburner?
BalasHapuskalau Mas nya ini suka edit-edit robots.txt biasanya akan muncul beberapa masalah error, oleh karena itu setelah mengganti pengaturan robots.txt jangan di ubah-ubah lagi.
Hapusuntuk mengatasi duplikat, coba pasang kode seperti ini pada bagian meta tag
<link expr:href='data:blog.url' rel='canonical'/>
atau kunjungi ini untuk meta tag lengkapnya : http://www.ficripebriyana.com/2014/02/cara-membuat-blog-valid-html5.html
o begitu,, emang iya sih, sebab ketika saya sudah mengatur robot txt, beberapa hari kemudian muncul pesan dari google webmaster bahwa "Masalah kesehatan yang parah ditemukan di situs Anda" sehingga saya berpikir itu akibat pengaturan robot txt,, hehe maklum awam bnget,,
Hapusterimakasih ilmunya mas
Masalah kesehatan yang parah ditemukan di situs Anda. stelah saya ganti mas ,,jadi bingung mohon penjelanya ya tanks..
BalasHapusok makasih mas... moga aja g ada error, baru 2x ganti, takut ada error
BalasHapus