Generator Robots.txt


Default - Semua Robot adalah:  
    
Perayapan-Penundaan:
    
Peta Situs: (biarkan kosong jika Anda tidak punya) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Direktori Terbatas: Jalur ini relatif terhadap root dan harus berisi garis miring "/"
 
 
 
 
 
 
   



Sekarang, Buat file 'robots.txt' di direktori root Anda. Salin teks di atas dan tempelkan ke file teks.


Tentang Generator Robots.txt

Robots.txt adalah file yang dapat ditempatkan di folder root situs web Anda untuk membantu mesin pencari mengindeks situs dengan lebih tepat. Mesin pencari seperti Google menggunakan perayap, atau robot yang meninjau semua konten di situs web, entah Anda menggunakan wordpress, blogger atau CMS lainnya. Mungkin ada bagian dari situs web Anda yang tidak ingin dirayapi untuk disertakan dalam hasil penelusuran pengguna, seperti halaman admin. Anda dapat menambahkan halaman ini ke file untuk diabaikan secara eksplisit.

Jika menurut Anda hanya itu yang ada di file robots.txt maka itu tidak mudah, satu baris yang salah dapat mengecualikan halaman Anda dari antrian indeksasi. Jadi, lebih baik untuk menyerahkan tugas kepada profesional, biarkan generator Robots.txt kami yang mengurus file untuk Anda.

Perintah dan Fungsi dari Robot.txt

Jika Anda membuat file secara manual, maka Anda perlu mengetahui pedoman yang digunakan dalam file tersebut. Anda bahkan dapat memodifikasi file nanti setelah mempelajari cara kerjanya.

  • Crawl-delay, perintah ini digunakan untuk mencegah crawler membebani host, terlalu banyak permintaan dapat membebani server yang akan mengakibatkan pengalaman pengguna yang buruk. Penundaan perayapan diperlakukan secara berbeda oleh bot yang berbeda dari mesin pencari, Bing, Google, Yandex memperlakukan arahan ini dengan cara yang berbeda. Untuk Yandex itu adalah menunggu antara kunjungan berturut-turut, untuk Bing, itu seperti jendela waktu di mana bot akan mengunjungi situs hanya sekali, dan untuk Google, Anda dapat menggunakan konsol pencarian untuk mengontrol kunjungan bot.
  • Allowing, perintah ini digunakan untuk mengaktifkan indeksasi URL berikut. Anda dapat menambahkan URL sebanyak yang Anda inginkan terutama jika itu adalah situs belanja, maka daftar Anda mungkin menjadi besar. Namun, hanya gunakan file robots jika situs Anda memiliki halaman yang tidak ingin Anda indeks
  • Disallowing, perintah ini bertujuan untuk menolak perayap mengunjungi tautan, direktori, dll. Direktori tersebut tetap akan diakses oleh bot lain yang perlu memeriksa malware karena mereka tidak bekerja dengan standar yang sama dengan Google.

File robots.txt menggunakan Protokol Pengecualian Robot. Situs web ini akan dengan mudah menghasilkan file untuk Anda dengan input halaman yang akan dikecualikan. File Robots.txt biasanya berisi "User-agent," dan di bawahnya, Anda dapat menulis arahan lain seperti "Allow," "Disallow," "Crawl-Delay" dll. jika ditulis secara manual mungkin akan memakan banyak waktu, dan Anda dapat memasukkan beberapa baris perintah dalam satu file. Jika Anda ingin mengecualikan halaman, Anda harus menulis "Larang: tautan yang tidak Anda inginkan untuk dikunjungi bot" yang sama berlaku untuk atribut allow.