Memahami Setting (Pengaturan) Robots.txt

Melanjutkan postingan sebelumnya tentang auto redirect broken link di blogspot, kali ini sekalian saja saya buat posting tentang robots.txt. Seperti sudah disebutkan di artikel sebelumnya, blogger/blogspot sekarang semakin ramah dengan search engine, hal ini bisa kita jumpai jika menggunakan tampilan baru blogger dimana terdapat fitur baru yaitu Search Engine Preferences.

Salah satu fitur yang paling hot menurut saya adalah diperbolehkannya pengguna blogspot untuk mengubah atau mengedit robots.txt yang mana sebelum ada fitur ini praktis kita tidak bisa melakukan perubahan apapun terhadap robots.txt ini. Sebelum mengulas tentang apa itu robots beserta fungsinya ada baiknya jika kita berkenalan dulu dengan si robots ini.

Apa Itu Robots?


Robots atau robots.txt adalah kumpulan perintah yang ditujukan kepada mesin pencari sebelum mesin pencari mulai menelusuri isi dari suatu web atau blog. Misal, robot (crawler) dari suatu mesin mencari ingin menelusuri salah satu halaman blog ini yaitu blogedek.blogspot.com/p/sitemap-blog.html, maka sebelum si crawler ini menelusuri lebih jauh dia akan melihat isi robots.txt dahulu yang bisa ditemukan di blogedek.blogspot.com/robots.txt dan akhirnya menjumpai kode seprti ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogedek.blogspot.com/feeds/posts/default?orderby=updated
Kode di atas adalah kode pengaturan default robots.txt yang digunakan oleh blogspot, untuk mengetahui arti dari perintah tersebut nanti dijelaskan di bawah.
Cara Setting robots.txt
File robots.txt juga harus diletakkan di main root (jika sobat menggunakan self hosting)

Memahami Pengaturan Robots.txt


Seelah mengetahui fungsi dari robots, sebaiknya kita juga memahami fungsi perintah-perintah yang ada di dalam robots.txt tersebut. Kode User-agent: * memberitahukan kepada crawler bahwa pengaturan ini untuk semua jenis bot. Tanda bintang (*) di sini maksudnya adalah apa pun jenis User-agent nya.

Jika kita ingin memberikan parameter bagi crawler tertentu, maka kita bisa menuliskannya dengan mengganti tanda bintang (*) tersebut, perhatikan contoh berikut:
User-agent: * (targets all spiders)
Disallow:

User-agent: Googlebot
Disallow: /search (untuk crawler google, dilarang meng-indeks halaman dengan awalan search, crwaler lain silahkan mengindeks)

User-agent: insert name of agent here
Kode Disallow: / artinya adalah tidak mengijinkan crawler untuk mengindeks semua yang ada di web atau blog kita.

Jika kita ingin supaya crawler mengindeks semuanya caranya ya berkebalikan atau cukup kosongkan saja, menjadi Disallow:. Ada juga yang menambahkan dengan kode seperti ini Allow: / yang artinya mengijinkan semuanya diindeks (paham kan logikanya sob).

Apa sobat pernah menjumpai blog auto generate (blog yang isinya menampilkan hasil pencarian)? Nah, blog auto generate tersebut juga melakukan setting / pengaturan robots.txt dengan mengijinkan halan search juga di indeks. Itulah mengapa blog auto generate umumnya berbasis wordpress, ya karena dulu blogspot mutlak tidak bisa melakukan perubahan di robots.txt sehingga tidak cocok untuk blog auto generate.

Setelah memahami tentang

pengaturan robots.txt

, sobat juga bisa melakukan optimasi pada robots.txt ini, tepatnya di bagian sitemap. Secara default, sitemap di robots.txt blogspot adalah seperti ini
Sitemap: http://blogedek.blogspot.com/feeds/posts/default?orderby=updated
Nah, menurut agan alkatro, feeds di atas kurang maksimal. Kenapa? karena eh karena feeds dari blogspot hanya "mampu" menampung 26 artikel terbaru saja. Solusinya? Kita tambahkan parameter max-result sehingga menjadi seperti ini:
Sitemap: http://blogedek.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
Robots.txt yang sudah kita rubah tadi selengkapnya menjadi seperti ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogedek.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
Mungkin itu saja tentang pengaturan robots.txt yang saya ketahui, jika sobat lebih mengetahui tentang robots.txt silahkan ditambahkan :)

Ref : http://www.robotstxt.org/robotstxt.html
Blog Gedek

Memahami Setting (Pengaturan) Robots.txt

Categories

AA Gym Acha Septriasa Ade Nurul Adelia Adhee Wendhy Adinia Wirasti Adsense Affiliasi Agnes Monica Agni Pratistha Ahmad Dhani Aida Saskia Aktor Korea Alice Norin Aline Tumbuan Aliya Sachi Allannys Weber Alyssa Soebandono Aming Ananda Mikola Android Andy Soraya Angel Lelga Angelina Sondakh Angeliq Anggun Anita Hara Anniversary Antivirus Apple Ardina Rasti Ariel Peterpan Artis Indonesia Arumi Buchin Aryani Fitriana Atiqah Hasiholan Aura Kasih Ayu Azhari Ayu Oktasari Ayu Ting Ting Baim Wong Bali Ban Terbaik Bawang Bayi big brother Bisnis BlackBerry Blog Berita Blogger Blogger Indonesia Blogger Template Blogging Bola Brownies Btari Karlinda Buah Bunga Citra Lestari Catatan si Boy Catherine Wilson Cathy Sharon Cerita Cerita Lucu Cerpen Chacha Marisa Chantal Della Concetta Chantal Dewi Hehuwat Charly ST12 Chef Juna Cherry Belle Christina Santika Cici Paramida Cinta Cinta Laura Citibank Clara Adheline Supit Community Connie Constantia Cornelia Agatha Cpns Curhat Cut Tari Cynthia Lamusu Cynthiara Alona Dahsyat Dara Daun Debby Sahertian Deby Ayu Demian Derbi Romero Desain Desain Interior Desi Florita Desi Novitasari Dewasa Dewi Aida Dewi Dewi Dewi Persik Dewi Sandra Dhea Imut Dhini Aminarti Di Indonesia Diabetes Diah Permatasari Dian Sastro Dinda Kirana DJ Milinka Domain Download Autocad Download Smadav Drama Korea Dream High Driver Dwi Andhika Dwi Putrantiwi Efek Rumah Kaca Email Emma Kurnia Emma Purnama Emoticon Endhita Enno Lerian Enny Beatrice Eno Netral Entertaiment Entertaining Eva Arnaz Eva Asmarani Eva Celia Latjuba Facebook Fahrani Farah Quinn Fashion Febby Caroline Feby Febiola FFI 2008 Film Korea Fitri Five Minutes Band Fiza Foto Fransoa Gadet Gadget Gambar Games Gemala Hanafiah Gita Gutawa Global Google Guest Star Hair Hamil Handphone Hari Raya Idul Fitri 1432 H Honda Hosting Humor Ihsan Idol Imaniar Indah Kalalo Indovision Indy Rahmawati Insomnia Intan RJ Internet Inul Daratista Iphone Irfan Bachdim Islam Jennifer Dunn Jenny Chang Jerawat Jessica Iskandar Jilbab Jill Gladys Joanna Alexandra Joko Anwar Jual Beli Julia Perez Julia Roberts Julie Estelle Kamar Kanker KapanLagi.com Kata Bijak Kata Cinta Kata Gombal Kata Indah Kata Islami Kata Kata Kata Lebay Kata Lucu Kata Motivasi Kata Mutiara Kata Romnatis Kata Sayang Kata-kata Hari Raya Kata-Kata Lebaran Kecantikan Kerenina Sunny Halim Kesehatan Kiki Amalia Kiki Fatmala Kiki Widyasari Kimberly Ryder Kinaryosih Kirana Larasati Komputer Kontes Seo Korea KPK Krisdayanti Kristina Kue Kunyit Ladya Cheryl Lagu Lakon Lala Laudya Cinthya Bella Laura Muljadi Lilis Karlina Lola Amaria Louisa Kusnandar Love Story Lowongan Lucyana Milinka Luna Maya Lutfiana Ulfa Madu Magazine Style Maia Ahmad Maissy Pramaisshela Manik Wiratamidjaja Manohara Odelia Pinot Marcella Zalianty Maria Eva Maria Ozawa Mariana Renata Marissa Haque Mark Lewis Marlin Taroreh Marsha Timoty Marshanda Masayu Anastasia Mata Maylaffayza Wiguna Mbah Surip Melinda Melvy Noviza Men Magazines Mentari Merantau Meta Tag Meutya Hafid Mey Chan Michael Jackson Mieke Amalia Mikha Tambayong Mita Mito Mivo TV Miyabi MNCTV Mobil Model Modem Momo Geisha Monica Oemardi Motivasi Motivasi Blogging MotoGp Movie Movies Mozilla Firefox Mp3 Mulan Jameela Mulan Kwok Mulut Music Nabila Syakieb Nadia Nadia Saphira Nadia Vega Nadine Chandrawinata Nafa Urbach Natalie Foxy Naughty Nexian Nia Ramadhani Nicholas Saputra Nikita Willy Nindy Nita Talia Nokia Nonton TV Nova Eliza Novie Amalia Obama Oka Antara Olga Lydia Olla Ramlan Opini Otomotif Pandji Pantun Paramitha Rusady Pasha Ungu PC Tablet Pendidikan Pengunduran Diri Personal Peterpan Pevita Eileen Pearce Photo Pingkan Mambo POLRI Poster PPC Profile Project Pop Property Proposal Provider Puasa Puisi Puisi Cinta Puisi Sedih Puput Melati Putri Penelope Rachel Maryam Raditya Dika Raffi Ahmad Rahma Azhari Raline Shah Ramadhan Rambut Rani Juliani Rara Wiritanaya Ratna Listy Ratu Felisha RCTI Red Carpet Rene Resep Revalina S. Temat Review Reynavenzka Rianti Cartwright Rin Sakuragi Ririn Dumin Ririn Dwi Ariyanti Ririn Marinka Romantis Rossa Sandra Dewi Sandra Olga Sarah Azhari Saykoji Scandals Senk Lotta Seo Seo Contest Sepak Bola Shanty Sheila Marcia Sherina Munaf Sheza Idris Shimah Shinta Shireen Sungkar Shopia Latjuba Sinta and Jojo Sisca Adrian Sissy Priscilla Slamet Rahardjo SMASH SMS Sms Hari Raya Sms Ucapan SNSD Social Networking Software Sony Ericsson Soraya Hylmi Sport Stevani Nepa Surat Suster Ngesot Syahrini Syahrini. Krisdayanti Tamara Bleszynski Tania Putri Tasya Teknisi Telkomsel Tera Patrick Terry Putri Tessa Kaunang Tessa Mariska Thalita Latief The Master The Police The raid The Virgin Tia Azhari TiaTanaka Tika Putri Tips Titi Kamal Titi Sjuman Tomat Tony Blank Tools Tora Sudiro Tracy Trinta Trend 2012 Trio Macan Tutorial TV One Twitter Tya Aristya Tyas Mirasih Ucapan Lebaran Uli Auliani Ultrabook Notebook Tipis Harga Murah Terbaik Ussy Sulistiawaty Vanessa Vega Darwanthy Velove Vexia Kaligis Vena Melinda Video Vina Panduwinata Vira Yuniar Visitor VJ Cathy VJ Daniel VJ Marissa Wajah Wanita Widy Soediro Nichlany Willy Dozan Windows Windows Phone Wiwid Gunawan Wordpress Wordpress Themes Wulan Guritno Xl Yahoo Yana Aprilia Yasmine Leeds Wildblood Youtube Yoviana Yulia Rachman Yuni Shara Zakat Zaskia Adya Mecca Zivanna Letisha Siregar