Home » » Cara Setting Robots.txt Pada Blog

Cara Setting Robots.txt Pada Blog

            Robots.txt yang ada pada blog ini merupakan bagian optimasi on page yang penting. Dengan settingan yang tepat dapat mempermudah mesin pencari merayapi blog kita. Kali ini saya akan berbagi tentang Cara Setting Robots.txt Pada Blog.



Berikut ini langkah – langkahnya:
1.      Login ke akun Blogger Anda

2.      Masuk ke setelan, lalu pilih Preferensi Penelusuran

3.      Kemudian silahkan di aktifkan robots.txt khusus. Klik Edit seperti pada gambar di bawah ini


4.      Lalu copy text di bawah ini:
User-agent: Mediapartners-GoogleDisallow:
User-agent: Googlebot Disallow: /search Disallow: /?m=1 Disallow: /?m=0 Disallow: /*?m=1 Disallow: /*?m=0 Disallow: /*?showComment= Allow: /
User-agent: * Disallow: /search Allow: /
Sitemap: http://cumaceritasampah.blogspot.com/feeds/posts/default?orderby=UPDATED

Penejelasan dari kode-kode di atas :
User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: Googlebot
Robot Google merayapi blog

Disallow: /search
Tidak diperbolehkan merayapi folder search dan seterusnya, seperti ..../search/label dan ... search/search?updated... dan lain-lain

Disallow: /?m=1
Tidak diperbolehkan merayapi tampilan homepage pada mobile

Disallow: /?m=0
Tidak diperbolehkan merayapi tampilan homepage pada smartphone atau tablet

Disallow: /*?m=1
Tidak diperbolehkan merayapi tampilan postpage pada mobile

Disallow: /*?m=0
Tidak diperbolehkan merayapi tampilan postpage pada smartphone atau tablet

Disallow: /*?showComment=
Tidak diperbolehkan merayapi link komentar
User-agent: *
Semua robot Search Engine / mesin pencari

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://cumaceritasampah.blogspot.com/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.

Ganti tulisan berwarna merah di atas dengan alamat blog sobat.

5.      Kemudian aktifkan juga Tag tajuk robot khusus. Klik Edit dan pilih Ya seperti pada gambar di bawah ini


Penejelasan mengenai fungsi-fungsi yang ada di atas :
all : Tidak ada batasan untuk mengindeks.
noindex : Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "cached" link dalam hasil pencarian
nofollow : Jangan ikuti link di halaman ini
none : Sama dengan tag noindex, nofollow.
noarchive : Tidak menunjukkan "cached" link dalam hasil pencarian
nosnippet : Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
noodp : Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini
notranslate : Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian
noimageindex : Jangan indeks gambar di halaman ini
unavailable_after: [RFC-850 date/time] : Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

            Setelan di atas merupakan settingan yang bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Dan Settingan diatas adalah settingan yang saya rekomendasikan, Anda boleh memilih settingan Anda sendiri sesuai dengan keinginan Anda.

            Sekian Postingan saya ini tentang Cara Setting Robots.txt Pada Blog. Semoga dapat bermanfaat untuk Anda dalam mengembangkan Blog Anda. Wassalam~

0 comments: