Dua file ini yakni .htaccess dan robot.txt ialah unsur penting dalam sebuah situs. Dari sisi teknis, kedua file ini memiliki manfaat dan laba yang bisa membawa situs menuju keinginan yang diinginkan webmaster berkaitan dengan pengalaman pengguna situs (User Experience) dan SEO. Umumnya file .htaccess (server apache) dan robots.txt berada di folder root server situs.
Perbedaan File .htaccess dengan Robot.txt
Perbedaan dasar dari kedua file ini adalah .htaccess dipakai (khususnya) untuk jalan masuk internal situs, sedangkan robots.txt untuk mengelola kanal eksternal.
File .htaccess lebih banyak melakukan pekerjaan secara internal, misalkan untuk menginformasikan server Apache bagaimana menanggulangi sebuah halaman atau file yang ada di situs. Dapat juga menghandel penggunaan URL, bisa juga mengendalikan cara pengguna situs mengakses sumber daya yang ada, dan lain sebagainya. Lewat .htaccess, webmastre mampu menangani fitur-fitur situsnya sendiri.
Sedangkan untuk file robots.txt yakni untuk mengendalikan terusan “eksternal”. Misalkan mengontrol dan menginformasikan terhadap robot mesin telusur maupun robot alat web lainnya, apa yang mampu dirayapi, diindeks.
File .htaccess
File .htaccess ialah file konfigurasi yang dipakai pada server web yang menggunakan perangkat lunak Apache selaku web server-nya. Apache akan melaksanakan apa yang tertulis dalam file .htaccess. File akan berpengaruh pada keseluruhan direktori yang ditempatkan di dalamnya dan semua file dan subdirektori dalam direktori yang ditentukan. Oleh alasannya adalah itu, bila salah menjadikannya akan berakibat pada situs bahkan situs tidak mampu diakses (error 500)
Umumnya file .htaccess berisi fungsi perintah dan fitur tambahan untuk melaksanakan situs, misalkan:
- menulis ulang url agar seo friendly
- redirect url
- Memblokir halaman, memblokir alamat IP
- otorisasi dan proteksi password
- Pengaturan untuk direktori tertentu memvariasikan preferensi server, misalnya RAM yang dipakai oleh aplikasi
- Pengalihan Kesalahan yang diadaptasi (seperti menentukan halaman 404 yang ramah)
- Setelan cache, kompres situs (gzip)
Tanpa .htaccess, situs akan bertingkah dengan cara default. Bahkan untuk cms atau platform blog tertentu jikalau tidak ada file .htaccess, mungkin tidak melakukan pekerjaan sama sekali.
Misalnya, saat menginstall WordPress secara otomatis akan menciptakan file file .htaccess yang berisi:
RewriteEngine On
RewriteBase /
RewriteRule ^ index.php $ – [L]
RewriteCond% REQUEST_FILENAME! -f
RewriteCond% REQUEST_FILENAME! -d
RewriteRule /index.php [L]
File Robot.txt
Robot.txt yakni file yang berisi isyarat dari situs yang ditujukan untuk robot web (dikenal sebagai Web Wanderers, Crawler, atau Spiders) ialah sebuah acara yang dibuat untuk masuk ke dalam situs secara otomatis. Misalkan robot mesin pencari Google menggunakannya untuk mengindeks konten situs.
Robot web lazimnya akan mencari file “/robots.txt” pada sebuah URL sebelum merayapi. Untuk itu semestinya penempatan file robots.txt di direktori tingkat atas server web atau berada ditempat yang serupa dengan index. Ingatlah, untuk nama file harus memakai aksara kecil semua: ” robots.txt “, bukan ” Robots.TXT
Tanpa robots.txt, robot mesin telusur akan mengindeks atau menyalin keseluruhan situs tanpa pengecualian, termasuk file yang bersifat pribadi atau diam-diam. Dengan robots.txt dapat melaksanakan:
- Pemberitahuan terhadap mesin telusur bahwa apa yang boleh atau tidak untuk mengindeks
- Melarang robot perayap dari layanan lain ( misalkan robot Archive.org )
Pada umumnya robot.txt sekali ditetapkan jarang diubah dan pembuatannya pun cukup mudah dibandingkan file .htaccess. Selain itu tidak mengakibatkan kerusakan pada situs melainkan besar lengan berkuasa pada indeks hasil penelusuran kalau tidak dijalankan dengan benar.
Contoh file robots.txt
Untuk mengecualikan semua robot dari keseluruhan server
User-agent: *
Disallow: /
Membolehkan semua terusan lengkap dari robot (atau buat saja file “/robots.txt” kosong, atau jangan gunakan sama sekali)
User-agent: *
Disallow:
Untuk mengecualikan semua robot dari bagian server
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Untuk mengecualikan robot tunggal
User-agent: BadBot
Disallow: /
Membiarkan robot tunggal
User-agent: Google
Disallow:
User-agent: *
Disallow: /
Keterangan:
- “User-agent: * ” memiliki arti bagian ini berlaku untuk semua robot.
- “Disallow: / ” memberi tahu robot bahwa seharusnya tidak mengunjungi halaman manapun di situs ini.
Perbedaan File .htaccess dengan Robot.txt – Lentera SEO
Sumber uy.com
EmoticonEmoticon