forumku

forumku (https://www.forumku.com/)
-   Forumku Guide for Dummies (https://www.forumku.com/forumku-guide-for-dummies/)
-   -   Setting robot txt (https://www.forumku.com/forumku-guide-for-dummies/45683-setting-robot-txt.html)

buatblog 16th August 2015 10:30 PM

Setting robot txt
 
Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Mulai dari pengaturan yang semakin mudah dan tentunya berbagai macam kelebihan dalam hal SEO. Bagi anda yang masih menginginkan berbagai macam pengaturan dalam proses indexing google bisa anda lakukan lewat robot.txt. Robot.txt ini bisa anda gunakan sebagai acuan bagian mana saja yang boleh diindex/ dirayapi google dan nama yang tidak. Hal ini juga berguna bagi anda yang masih mempunyai bandwidth pas-pasan atau memang blog anda yang sudah sangat ramai dan menginginkan untuk melakukan penghematan bandwidth hosting.
Robots.txtDengan memblokir direktori atau file tertentu yang memang tidak perlu diindex, ini juga salah satu cara agar blog atau website menjadi lebih SEO, kenapa bisa begitu, karena waktu yang dibutuhkan search engine saat mendatangi blog kita tidaklah lama. Jadi dengan dicegahnya search engine merayapi direktori tertentu maka kesempatan mesin pencari untuk merayapi dan mengindex seluruh konten atau halaman web yang memang perlu ditampilkan (diindex) menjadi lebih besar (lebih diprioritaskan).
Secara default (jika dalam direktori blog atau web tidak ada file robots.txt maka akan memberikan informasi pada Search Engine bahwa seluruh bagian dari blog atau situs dapat dijelajahi dan dimasukkan dalam index-nya. Dan tidak semua bagian sebuah blog atau web itu perlu didatangi search engine, sebagai contoh untuk pengguna wordpress dengan hosting sendiri bagian folder atau direktori wp-admin, wp-content/cache, wp-content/plugins, wp-includes dll tidak perlu diindex, karena tidak ada gunanya, sebaliknya kalau direktori tersebut ikut diindex malah akan merugikan karena akan boros bandwidth dan juga mungkin mengandung data-data penting yang tidak boleh jadi konsumsi publik

jonesAudreyy 4th November 2020 02:52 PM

Re: Setting robot txt
 
Pos yang bagus! Saya tidak mengetahui sumber daya ini dan saya akan memeriksanya sekarang!


All times are GMT +7. The time now is 08:16 AM.

Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc.
Search Engine Optimisation provided by DragonByte SEO v2.0.37 (Lite) - vBulletin Mods & Addons Copyright © 2024 DragonByte Technologies Ltd.