Mengenal Robots.txt

Apa itu robots.txt ? Apa pula fungsi robots.txt ini ?

Robots.txt adalah sebuah file yang berisi kode-kode yang berfungsi untuk menginstruksikan robot-robot search engine untuk dapat menjelajahi dan mengindeks seluruh atau sebagian halaman  dari suatu website/ blog. Mengapa saya katakan sebagian halaman saja? Karena tidak semua file atau folder harus di indeks oleh search engine, misalkan folder admin atau folder yang berisi dokumen-dokumen penting.

Robots.txt pun akan meningkatkan SEO blog anda, karena robots.txt dapat mencegah blog anda dari duplikasi konten. Robot-robot search engine paling tidak suka bila menemukan duplikasi konten dari blog yang kita kelola, bila robot search engine menemukan duplikasi konten maka blog kita akan terkena pinalti dari search engine yang bersangkutan.

Berikut contoh robots.txt yang saya ambil dari situs resmi wordpress.

--------------------------------------------------------------------------

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.domain.com/sitemap.xml



-------------------------------------------------------------------------------


Cara membuat robots.txt ini mudah saja, anda hanya tinggal membuka notepad kemudian copy code di atas lalu beri nama robots.txt. Setelah itu kita unggah ke server, letakkan sejajar dengan wp-admin, wp-content dll. Sehingga nanti alamat robots.txt kita akan muncul

Semoga bermanfaat.

Refrensi :
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress
http://www.askapache.com/seo/wordpress-robotstxt-seo.html
http://teqsnacks.com/2007/03/10/wordpress-seo-using-robotstxt-to-avoid-content-duplication/