√ Apa Itu Robots.Txt ? Inilah Pengertian Dan Fungsinya

Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya - Anda mungkin pernah mendengar kata robots.txt bekerjsama ini merupakan file penting yang ada pada sebuah halaman web. File robots.txt akan memfilter web kita di mesin penelusuran. Kita sanggup menampilkan dan menyembunyikan halaman, file, dokumen dan lainnya yanga da pada web kita dengan memakai file robots.txt ini.

Untuk pengguna wordpress misalnya, Anda perlu menciptakan sebuah file dengan nama robots.txt dan upload pada bab root atau akar web Anda referensi : https://www.caramanual.com/robots.txt dan untuk isi dari file robots.txt Anda sanggup memakai sesuai dengan kebutuhan Anda.

Baca Juga : Kumpulan File Robots.txt SEO Friendly

Sedangkan untuk pengguna blogspot Anda mungkin tidak sanggup menciptakan sebuah file dan mengupload ke dalam server privadi layaknya wordpress, tetapi damai saja blogger telah memperlihatkan fitur khusus untuk menciptakan file robots.txt pada blogspot. Anda sanggup mencobanya pada bab setelan di blogger. Untuk mengetahui file robots.txt di blog sudah terpasang Anda sanggup mengeceknya menyerupai ini, referensi : https://manualcara.blogspot.com/robots.txt dan untuk isi dari file robots.txt Anda sanggup menyesuaikannya dengan kebutuhan Anda.

Baca Juga : Cara Setting File Robot.txt di Blogspot

Apa Itu Robot.txt ?

File robots.txt yaitu sebuah ketentuan untuk mencegah robot mesin telusur mengakses seluruh atau sebagian situs web. Robot ini biasanya dipakai untuk mengontrol halaman-halaman tertentu supaya tidak di index oleh spider mesin pencari, sehingga halaman tersebut tidak akan muncul pada hasil penelusuran.

File robots.txt berisi sebagian kecil perintah yang sanggup menandakan susukan ke situs menurut bab dan menurut jenis perayapnya contohnya perayap seluler dan perayap desktop. Robots.txt ditemukan oleh Martijn Koster pada tahun 1994 dikala bekerja di WebCrawler. Dengan adanya robots.txt ini tentunya sanggup membantu kita dalam memaksimalkan web asalhkan kita paham dalam penggunaan file robots.txt ini.

Apa Fungsi File Robots.txt ?

Fungsi file robots.txt yaitu untuk mengontrol robot mesin telusur dalam melaksanakan perayapan dan indeksing sebuah halaman web. Dengan file robots.txt kita sanggup mengontrol apakah suatu halaman web itu akan di indeks oleh robot mesin telusur dan tampil pada hasil penelusuran ataukah sebaliknya. Nah, jadi kita harus berhati-hati dalam penggunaan robots.txt kalau hingga salah bisa-bisa halaman yang ingin kita indeks malah tidak diindeks ataupun sebaliknya.

Isi File Robot.txt Standar (Untuk Blogger)

Untuk memasang robots.txt di blogger Anda tinggal masuk pada bab Setelan > Preferensi Penelusuran. Berikut saya berikan referensi file robots.txt default yang standar dan banyak di gunakan oleh blogger.

User-agent: Mediapartners-Google Disallow:  User-agent: * Disallow: /search Allow: /  Sitemap: https://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Catatan :
- https://www.caramanual.com silahkan ganti dengan URL blog Anda

Isi File Robot.txt Standar (Untuk WordPress)

Untuk robots.txt wordpress Anda sanggup menginstal plugin yang ada, tetapi bila Anda ingin memakai file robots.txt manual Anda sanggup mencobanya dengan memakai file robots.txt dibawah ini. Untuk memasang file robots.txt ini di wordpress Anda perlu memasukkan file robot.txt ini kedalam notepad kemudian simpan dengan nama robot.txt sehabis itu upload ke cPanel dibagian root atau di Manager File.

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /cgi-bin/ Disallow: /wp-content/ Disallow: /archives/ Disallow: /*?* Disallow: *?replytocom Disallow: /author Disallow: /comments/feed/ Disallow: */trackback/ Disallow: /wp-*  User-agent: Mediapartners-Google* Allow: /  User-agent: Googlebot-Image Allow: /wp-content/uploads/  User-agent: Adsbot-Google Allow: /  User-agent: Googlebot-Mobile Allow: /  Sitemap: https://www.caramanual.com/sitemap.xml

Catatan :
- https://www.caramanual.com/ silahkan ganti dengan URL web Anda

Penjelasan Bagian-bagian File Robots.txt

Dari beberapa file robots.txt yang ada mungkin Anda masih belum paham mengenai bagian-bagian yang Ada pada file robots.txt oleh alasannya itu dibawah ini akan saya jelaskan beberapa bab atau instruksi yang ada pada file robots.txt.

User-agent: Mediapartners-Google ini berarti bahwa instruksi yang berada dibawahnya hanya berlaku untuk robot crawler Mediapartners-Google saja. Mediapartners-Google yaitu robot crawler untuk google adsense.

Disallow : ini berarti tidak diperbolehkan untuk merayapi halaman tersebut. Tetapi Disallow tersebut tidak mempunyai nilai sehingga tidak ada yang di cekal oleh robot crawler.

User-agnet : * ini berarti bahwa instruksi yang berada dibawahnya berlaku untuk semua robot crawler. Tanda * yang berarti berlaku untuk semua robot mesin telusur.

Disallow : /search ini berarti semua halaman yang mempunyai URL /search tidak diperbolehkan untuk di rayapi oleh robot crawler.

Allow : / ini berarti bahwa semua URL boleh di rayapi robot crawler, kecuali yang berada pada perintah Disallow. Tanda / sanggup diartikan sebagai URL beranda sebuah situs web.

Sitemap : https://www.caramanual.com/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog. Sitemap ini akan membantu robot crawler dalam merayapi dan mengindeks setiap konten yang di terbitkan.

Itulah klarifikasi dari apa itu robots.txt dan bagaimana fungsinya. Semoga dengan artikel ini sanggup membantu Anda dalam mengenal file robots.txt yang ada pada web blog Anda sehingga kita sanggup memaksimalkan lagi situs web yang kita miliki. Jadi, file robots.txt ini sangat peting sekali untuk mengontrol atau melaksanakan filtrasi/penyaringan situs web kita pada mesin penelusuran.
Sumber http://www.caramanual.com