Cara Mudah Setting Robots.txt Untuk Blogspot

Robots.txt adalah sebuah file teks yang bertugas menghentikan prosesi perayapan sebuah perangkat lunak. Dan robots.txt ini dipergunakan jika ada bagian situs yang tidak ingin diindeks oleh Google atau mesin pencari laiinya.

Setiap blog dapat melakukan setting robots.txt untuk dapat memblok bagian yang tidak ingin ditelusuri oleh Google, tetapi jangan lupa dengan resiko yang harus didapati jika menggunakan metode seperti ini.Penggunaan robots.txt ini utamanya adalah untuk mesin telusur dari Googlebot dan perayap web yang lain yang sudah terpercaya.

Jadi dengan kata lain, bahwa penggunaan file teks ini hanya untuk sebagian besar mesin telusur dan tidak seluruh mesin telusur di dunia ini. Dan tidak serta merta bahwa penggunaan robots.txt ini pasti dapat memblokir alamat URL yang diinginkan, karena masih terbuka kemungkinan URL bisa dicrawl dari website yang lain. Kecuali melakukan metode pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.

Oke, kembali ke cara setting robots.txt, jika Anda menginginkan / mensetting robots.txt maka saya akan share agar Anda dapat menerapkannya di blog Anda. Perlu diketahui bahwa jika settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Dan jika ingin mencegah laman yang tidak ingin di craw bisa dengan cara menambahkan " Disallow : "

Contoh :

Disallow : /p/about.html

Maka url   /p/about.html akan diblok oleh robots.txt

dan settingan bisa dilakukan dengan masuk ke menu blogger -> setelan -> preferensi penelusuran seperti gambar di bawah ini :

Jika menginginkan settingan default maka jangan klik "ya" , dan bila ingin membatasi craw url yang lain Anda harus mengklik "ya" dan tuliskan di bidang kosong setelah itu klik simpan perubahan.

Berhati-hatilah dalam membuat settingan robots.txt ini , karena jika salah membuatnya maka akan diabaikan oleh mesin telusur.