Membuat lembaga kini sangatlah mudah, tinggal install CMSnya atau pilih dari Softaculous maka selesai sudah urusannya. Yang sedang aku coba kini yaitu MyBB dan tidak ada problem berarti jika dipasangkan pada cPanel atau shared hosting pada umumnya. Search Engine Friendly URL juga berfungsi normal alasannya yaitu sudah otomatis dibuatkan .htaccess.
Tapi ada satu hal yang aku perhatikan pada direktori public_html ternyata tidak disertakan file robots.txt yang akan sangat mempunyai kegunaan dalam menginstruksikan bot – bot mesin telusur biar tidak ikut mengindeks halaman – halaman tertentu pada lembaga ada. Tidak semuanya perlu muncul di Google kan?
Setelah aku cari – car informasinya jadinya ketemu yang sepertinya cocok, silahkan copy-paste ke robots.txt milik anda:
User-Agent: *
Disallow: /moderation.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /editpost.php
Disallow: /private.php
Disallow: /search.php
Disallow: /stats.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /safelink.php
Disallow: /syndication.php
Kalau sudah terlanjur diindeks Google atau mesin pencari lainnya maka tunggu 1-2 ahad biasanya akan perlahan – lahan lenyap.
Sumber gurupintar.com