Penjana Robots.txt

Jana fail robots.txt untuk mengawal akses crawler ke laman web anda.

Peraturan Default

Masa menunggu antara permintaan (1-30 saat)

Peraturan Khusus

Panduan Penggunaan

Cara Menggunakan

  1. Pilih peraturan default (jika perlu)
  2. Tetapkan crawl delay untuk mengawal kekerapan crawler
  3. Tambah peraturan khusus untuk bot tertentu
  4. Masukkan URL sitemap (jika ada)
  5. Klik "Jana Robots.txt"
  6. Salin atau muat turun fail yang dijana

Contoh Penggunaan

  • Halang akses ke folder admin: Disallow: /admin/
  • Benarkan Google sahaja: Allow: /blog/ untuk Googlebot
  • Halang imej tertentu: Disallow: /*.jpg$

Nota: Pastikan anda meletakkan fail robots.txt di direktori root laman web anda (contoh: https://example.com/robots.txt).