File robots txt digunakan untuk mengontrol file mana yang dapat diakses oleh mesin pencari. Sebuah file teks yang mengikuti protokol pengecualian robots. Protokol ini dikenal dengan istilah The Robots Exclusion Protocol atau The Robots Exclusion Standard.
Dan Google telah mengumumkan proposal Protokol Pengecualian Robot sebagai standar resmi di bawah IETF (The Internet Engineering Task Force) pada 1 Juli 2019. Sebuah organisasi yang bertanggung jawab atas standar teknis yang terdiri dari paket protokol Internet (TCP/IP).
Adapun "robot" dikenal juga dengan "crawler" atau terkadang disebut dengan "spider" adalah istilah umum untuk program apa pun yang digunakan untuk menemukan dan memindai situs secara otomatis dengan mengikuti link dari satu halaman web ke halaman web lainnya.
Cara Mengintip Setingan File "robots.txt" Situs Lain
Sebagaimana dilansir dari Google, robots.txt merupakan standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya. Standar ini menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh diproses atau dipindai.
Untuk itu, file robots.txt perlu mendapat perhatian bagi para Blogger. Meskipun optimasi web sesungguhnya meliputi banyak elemen terkait. Dan pengaturan yang benar pada file robots.txt adalah salah satu usaha untuk mencapai tujuan tersebut.
Harapannya adalah agar "robot" atau "crawler" atau "spider" melakukan tugas perayapan secara mudah sehingga situs web cepat terindeks oleh mesin pencari. Lalu bagaimana cara optimasi file "robots.txt" tersebut? Sebelum membuat file robots.txt sendiri ada baiknya melihat contoh.
Sekarang coba lihatlah situs-situs besar yang selama ini menjadi raksasa-raksasa internet. Cara ini bisa juga diterapkan untuk melihat file "robots.txt" situs web atau blog yang Anda kunjungi. Caranya silahkan akses dengan browser kesayangan dengan menambahkan kata "/robots.txt" setelah nama domain situs web atau blog yang diinginkan.
Beberapa Contoh Pengaturan File "robots.txt" Situs Lain
Di bawah ini contoh pengaturan file robots.txt yang digunakan oleh situs web populer. Contoh pertama kali dengan mesin pencari itu sendiri. Dalam hal ini Google sebagai contoh mewakili mesin pencari lain. Dan ternyata, mesin pencari Google mempunyai pengaturan file "robots.txt" tersendiri. Setelah itu ada contoh pengaturan file robots.txt dari penyedia layanan blog gratisan dari Blogger dan Wordpress. Dan berikutnya ada contoh pengaturan file robots.txt dari dua portal berita populer.
1. Google: https://www.google.com/robots.txt.
2. Blogger: https://www.blogger.com/robots.txt.
3. Wordpress: https://wordpress.com/robots.txt.
4. Detik: https://www.detik.com/robots.txt.
5. Kompas: https://www.kompas.com/robots.txt.
Kesimpulan
Optimasi file robots txt untuk menghindari beban permintaan yang terlampau banyak. Karena "robot" atau "crawler" atau "spider" memiliki limit/pembatasan. Adapun hasil terbaik tentu saja jika kita melakukan pengaturan yang benar. Dan untuk mengetahui pengaturan yang sesuai kebutuhan tersebut kita bisa berkaca dari situs lain yang sudah populer. Setelah itu, keputusan tetap kembali pada masing-masing individu. Terutama para blogger pemula baik menggunakan blogspot maupun wordpress.
Semoga bermanfaat.
Tidak ada komentar:
Posting Komentar