Situs atau blog yang baik adalah blog yang memiliki konten yang bermanfaat. Blog yang bagus adalah blog yang memiliki desain dan tampilan yang menarik. Blog yang sehat adalah blog yang mudah dideteksi oleh mesin penelusur. Maka, jika sahabat Ngonline06 ingin memiliki blog yang ramai pengunjung, ketika komponen, yaitu baik, bagus, dan sehat harus sudah terkumpul di situs atau blog sahabat semua.
Jika salah satu dari ketiga komponen di atas tidak ada, maka kemungkinan akan terjadi ketimpangan dan penurunan jumlah pengunjung. Konten blog sudah baik dan tampilannya pun menarik, namun ternyata blognya kurang sehat, maka jangan harap pengunjung akan menyambanginya. Hal itu karena ada sesuatu yang tidak beres di dalam situs atau blog tersebut.
Salah satu hal yang menyebabkan sebuah blog sakit adalah melakukan perubahan settingan robot.txt dengan sembarangan. Jika seseorang melakukan ini, maka siap-siap saja situs tersebut dianggap 'mati suri' alias tak terdeteksi oleh mesin penelusur.
Apa itu Robot.txt
Mungkin sahabat akan bertanya-tanya, apa sih itu robot.txt. Perlu diketahui bahwa robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari. Maka jika kita salah dalam menyettingnya, maka siap-siaplah dalam menerima akibatnya. Padahal dalam melakukan setting ini, blogger sebagai pemiliknya juga sudah mewanti-wanti agar 'HATI-HATI'.
Apakah semua blog atau situs memiliki robot.txt?
Ya, semua blog (blogger) memiliki robot.txt yang sudah diprogram oleh blogger. Secara default kode Robot.txt untuk semua blog adalah sebagai berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Biar sahabat tidak penasaran, silahkan lihat kode robot.txt situs atau blog sahabat dengan cara mengetik alamat berikut ini:
http://URL-SITUS-SAHABAT/robots.txt
Arti Kode Robot.txt
Setelah sahabat mengetahui kode robot.txt secara default, maka kami yakin sahabat pun akan bertanya-tanya, apa arti kode tersebut? Maka berikut adalah arti kode-kode yang secara default diterapkan oleh blogger.
Ini adalah kode untuk robot Google Adsense untuk merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Kode ini menunjukkan bahwa pada semua robot Search Engine / mesin pencari
Disallow: /search
Kode ini berarti melarang mesinpenelusur untuk merayapi folder search dan selanjutnya.
Allow: /
Kode ini berarti mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Ini adalah bentuk sitemap atau alamat feed blog kita.
Salah Kaprah tentang Robot.txt
Ada salah kaprah (setidaknya ini pemahaman Ngonline06) yang dipahami oleh teman-teman blogger. Yaitu, terkait menurunnya jumlah kunjungan di situs atau blognya. Setelah itu, mereka mencari-cari dan meneliti dan akhirnya ia melihat di web master bahwa didapatkan banyak sekali Url yang diblock oleh google. Selidik demi selidik, akhirnya ia merubah settingan robot.txt dan ia merubah kode berikut
Disallow: /search menjadi Disallow:
Selang beberapa hari, Url yang diblock didapatinya berkurang. Maka ia pun gembira dan menganggap bahwa itu adalah solusi dari rendahnya jumlah pengunjung blognya.
Maka pendapat kami, jelas saja Url yang diblock akan menurun. Karena secara default saat kode 'search' ditempelkan, maka secara otomatis url-url yang menggunakan /search otomatis diblock. Maka akibatnya muncullah url-url yang diblock tersebut. Maka setelah kode 'search' dihapus, menurunlah Url yang diblock itu.
Apa resiko saat menghapus '/search'?
Jika sahabat telah memutuskan menghapus '/search', maka secara otomatis sahabat mempersilahkan mesin penelusur untuk menghitung url-url search, label, update, dan lain-lainnya. Padahal semua itu seperti LABEL bukanlah Url yang real menuju satu halaman tertentu. Jika itu terus dibiarkan, maka akan dianggap duplicate content oleh mesin penelusur.
Cara Mencegah Robot untuk Merayapi Postingan Tertentu
Setelah sahabat mengetahui arti kode-kode dalam robot.txt dan mantap untuk menyetingnya, maka silahkan dirubah postingan-postingan mana yang harus dirayapi dan postingan mana yang tidak perlu dirayapi. Sebagaimana dijelaskan di awal dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.
Dan jika, sahabat ingin menambahkan beberapa postingan yang tidak ingin dirayapi seperti misalnya laman about, contact us, atau lainnya, silahkan tambahkan setelah kode Disallow: tersebut.
Dan jika, sahabat ingin menambahkan beberapa postingan yang tidak ingin dirayapi seperti misalnya laman about, contact us, atau lainnya, silahkan tambahkan setelah kode Disallow: tersebut.
Cara Setting Kode Robot.txt
Untuk menambahkan atau mengediti robots.txt, silahkan sahabat login ke dashboard blog sahabat. Pilih menu Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan
Tidak Menyetting Robot.txt, Apakah Salah?
Sangat tidak masalah. Karena blogger memang sudah mensetting kode tersebut dengan pertimbangan yang matang demi memberikan kenyamanan untuk kita semua.
Demikian tutorial cara setting robot.txt. Jika ada kesulitan atau hal yang belum dipahami, silahkan tulis saja di kotak komentar. Atau mungkin jika ada koreksian, silahkan tuliskan juga di bawah agar Ngonline06 pun bisa belajar bersama. Salam sukses selalu...
No comments
Silahkan berkomentar dengan baik.