Setting Meta Robot, Optimasi Robot.txt, Robot Content, “Noindex Nofollow“
A. SETTING ROBOT.TXT
Berikut ini sangatlah bermanfaat karena kita bisa mengatur visibility dari artikel-artikel kita di mesin pencari, kita menjadi mungkin mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.
Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /searchAllow: / Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated
Dimana mempunyai penjelasan sebagai berikut:
Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.
Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.
Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: Allow: / Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman About saya) Anda cukup menulis seperti berikut:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /p/about.htmlAllow: / Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated
Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search?updated-min= Disallow: /search?updated-max= Disallow: /search/label/*?updated-min= Disallow: /search/label/*?updated-max= Allow: / Sitemap: http://www.namablog.com/feeds/posts/default?orderby=updated
Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi www.namablog.com/robots.txt. Ganti www.namablog.com dengan nama domain Anda.
B. SETTING META TAG ROBOT YANG VALID
Bagaimana suatu search engine atau yang sering diartikan dengan mesin pencari melakukan pencarian pada meta tag? Berikut adalah beberapa jawaban tentang bagaimana “search engine” menangani tag di Google.
<META NAME=”ROBOTS” CONTENT=”NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX”>
2. Tanpa mengisi nilai apapun pada Robot Meta Tag
Untuk memberikan instruksi kepada semua mesin pencari, aturlah nama meta dengan “ROBOTS”. Untuk memberikan instruksi hanya kepada Googlebot, tetapkan nama meta untuk “Googlebot”. Jika Anda ingin memberikan instruksi yang berbeda untuk mesin pencari yang berbeda (misalnya, jika Anda ingin satu mesin pencari untuk mengindeks halaman, tetapi tidak yang lain), lebih baik untuk menggunakan meta tag khusus pada setiap mesin pencari daripada menggunakan “generic robot meta tag” yang dikombinasikan dengan spesifikasi meta tag tertentu. Anda dapat menemukan daftar bot di robotstxt.org.
4. Casing (uppercase atau lowercase) dan spasi
<meta name=”robots” content=”noodp”>
<meta name=”Robots” content=”NoOdp”
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”> (ket: tanpa spasi)5. Menggunakan file robots.txt dan robot meta tag bersamaan
Jika robots.txt dan instruksi meta tag untuk suatu halaman terjadi “konflik” (dikarenakan asal-asalan memasukkan meta tag ke dalam halaman web atau blog, sehingga menjadi terlalu banyak dan kompleks), maka Googlebot akan mengikuti mana yang paling ketat atau menonjol. Untuk lebih jelasnnya :
- Jika Anda memblokir halaman dengan robots.txt, Googlebot tidak akan pernah menjelajah halaman dan tidak akan pernah membaca meta tag pada halaman tersebut.
- Jika Anda mengizinkan halaman dengan robots.txt tapi memblok atau membatasi untuk diindeks menggunakan meta tag, Googlebot akan mengakses halaman, membaca isi meta tag tersebut, dan kemudian tidak akan mengindeks isi halaman itu.
NOFOLLOW – mencegah Googlebot mengikuti link apapun pada halaman. (Catatan: bahwa yang dimaksud, berbeda dengan atribut link-level NOFOLLOW, yang mencegah Googlebot agar mengikuti link tertentu.)
NOARCHIVE – mencegah salinan cache dari halaman yang mungkin saja tersedia dalam hasil pencarian (indeks).
NOSNIPPET – mencegah deskripsi yang muncul di bawah halaman dalam hasil pencarian, serta mencegah caching halaman.
NOODP – memblok deskripsi halaman Open Directory Project yang digunakan dalam deskripsi, yang muncul di bawah halaman hasil pencarian.
NONE – setara dengan “NOINDEX, NOFOLLOW”.7. Tentang nilai meta tag “NONE”
C. SETTING TAG HEADER ROBOT KHUSUS
. Log in ke blogger dengan akun blogger anda.
2. Klik setelan > Preferensi penelusuran / Search preferences.
3. Pada tab perayap dan pengindeksan pilih robot.txt.
4. Dan masukkan perintah dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.namablog.com/feeds/posts/default?orderby=UPDATED
Keterangan:
- Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
- Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
- Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
- Tanda “/” adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
5. Klik simpan perubahan.
- Homepage blog
- Halaman Arsip dan Halaman Hasil Pencarian
- Halaman Posting dan Halaman Blog
Adapun setting yang saya pergunakan yakni :
- Beranda : All dan Noodp
- Laman Arsip Dan Penelusuran : Noindex dan Noodp
- Default Untuk Post Dan Laman : All dan Noodp
Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus
Direktif | Penjelasan |
---|---|
all | Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar. |
noindex | Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan “Cached” link dalam hasil pencarian. |
nofollow | Jangan ikuti link di halaman ini. |
none | Sama dengan tag noindex, nofollow |
noarchive | Tidak menunjukkan “Cached” link dalam hasil pencarian. |
nosnippet | Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini. |
noodp | Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini. |
notranslate | Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian. |
noimageindex | Jangan indeks gambar di halaman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format. |
Semoga membantu teman semua dalam mengoptimalkan blognya – See more at: http://www.web.unmetered.id/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf
6. Masih di menu setting Search preferences / Preferensi penelusuran
7. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
8. Pilih yes
9. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini
5. Save changes
Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari.
D. Free Robots.txt Generators
There are some free tools on the web which can help you in creating your own robots.txt file. These tools are given below:-
Seobook robots.txt generator
Advanced robots.txt generator (Software free download)
Yellowpipe robots.txt generator
Seochat robots generator
- Homepage blog
- Halaman Arsip dan Halaman Hasil Pencarian
- Halaman Posting dan Halaman Blog
Adapun setting yang saya pergunakan yakni :
- Beranda : All dan Noodp
- Laman Arsip Dan Penelusuran : Noindex dan Noodp
- Default Untuk Post Dan Laman : All dan Noodp
Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus
Direktif | Penjelasan |
---|---|
all | Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar. |
noindex | Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan “Cached” link dalam hasil pencarian. |
nofollow | Jangan ikuti link di halaman ini. |
none | Sama dengan tag noindex, nofollow |
noarchive | Tidak menunjukkan “Cached” link dalam hasil pencarian. |
nosnippet | Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini. |
noodp | Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini. |
notranslate | Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian. |
noimageindex | Jangan indeks gambar di halaman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format. |
Semoga membantu teman semua dalam mengoptimalkan blognya – See more at: http://www.web.unmetered.id/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf
- Homepage blog
- Halaman Arsip dan Halaman Hasil Pencarian
- Halaman Posting dan Halaman Blog
Adapun setting yang saya pergunakan yakni :
- Beranda : All dan Noodp
- Laman Arsip Dan Penelusuran : Noindex dan Noodp
- Default Untuk Post Dan Laman : All dan Noodp
Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus
Direktif | Penjelasan |
---|---|
all | Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar. |
noindex | Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan “Cached” link dalam hasil pencarian. |
nofollow | Jangan ikuti link di halaman ini. |
none | Sama dengan tag noindex, nofollow |
noarchive | Tidak menunjukkan “Cached” link dalam hasil pencarian. |
nosnippet | Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini. |
noodp | Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini. |
notranslate | Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian. |
noimageindex | Jangan indeks gambar di halaman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format. |
Semoga membantu teman semua dalam mengoptimalkan blognya – See more at: http://www.web.unmetered.id/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf
- Homepage blog
- Halaman Arsip dan Halaman Hasil Pencarian
- Halaman Posting dan Halaman Blog
Adapun setting yang saya pergunakan yakni :
- Beranda : All dan Noodp
- Laman Arsip Dan Penelusuran : Noindex dan Noodp
- Default Untuk Post Dan Laman : All dan Noodp
Penjelasan Fungsi Masing-Masing Tag Pada Tag Header Robots Khusus
Direktif | Penjelasan |
---|---|
all | Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar. |
noindex | Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan “Cached” link dalam hasil pencarian. |
nofollow | Jangan ikuti link di halaman ini. |
none | Sama dengan tag noindex, nofollow |
noarchive | Tidak menunjukkan “Cached” link dalam hasil pencarian. |
nosnippet | Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini. |
noodp | Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini. |
notranslate | Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian. |
noimageindex | Jangan indeks gambar di halaman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format. |
Semoga membantu teman semua dalam mengoptimalkan blognya – See more at: http://www.web.unmetered.id/2014/01/cara-mengaktifkan-dan-setting-tag.html#sthash.ztkdZkER.dpuf