Agar search engine mudah meng-index halaman blog atau web, diperlukan sebuah file yang disebut Robot.txt. Ketika search engine mengunjungi halaman, maka hal yang pertama dilakukan Crawler adalah melihat file Robot.txt halaman blog atau web tersebut lalu memberitahukan Search Engine Spider apakah halaman blog tersebut harus di-index ataukah diabaikan.
Jadi Robot.txt adalah suatu file yang berfungsi memudahkan Search Engine meng-index halaman blog atau web. Namun banyak kesalahan yang sering terjadi dan menyebabkan sebuah blog atau web tak ter-index oleh Search Engine. Kesalahan tersebut diantaranya:
1. File Robot.txt rusak atau mengandung parameter yang keliru.
Pada saat search engine seperti Goole salah membaca isi Robot.txt, maka Google akan menabaikan halaman blog atau web kita.
2. Kode yang terlalu panjang.
Halaman blog atau web yang berisi kode Javascript, CSS atau HTML yang terlalu banyak dan panjang, akan membuat halaman sulit diakses. Robot Search Engine akan kesulitan mengurai sebuah halaman blog atau web.
3. Masalah pada Menu Navigasi.
Menu yang dibuat menggunakan Javascript, DHTML atau AJAX tidak dapat di-index oleh robot Search Engine karena robot search engine hanya dapat meng-index link-link yang neggunakan HTML.
4. URL terlalu banyak mengandung variable.
Contoh URL yang banyak menggunakan variable: http://namadomain.com/page.php?page=1&id=2&mirror=3&direct=index.html.
Halaman blog atau web yang menggunakan banyak variable seperti contoh diatas URL akan diabaikan oleh Google.
5. Menggunakan ID Session.
ID Session akan menakibatkan duplicate-content. Karena itu Google akan mengabaikannya. Penggunaan cookies jauh lebih baik ketimbang ID Session.
File Robot.txt sangat mudah dibuat. Cukup hanya dengan menggunakan Notepad, lalu upload ke root directory blog atau web anda. Namun yang perlu diigat pada saat meng-konfigurasi file ini pastikan crawler search engine tidak sedang menjelajah halaman blog atau web kita. Lalu bagaimana cara membuat file robot.txt? Karena penjabarannya akan cukup panjang maka topik bahasan ini akan ditulis pada kesempatan berikut. Semoga bermanfaat.
0 komentar:
Post a Comment