Untuk pemilik situs

WisepageBot

WisepageBot mengambil halaman web atas permintaan pelanggan Wisepage. Ia bukan crawler umum: ia hanya membuka halaman yang diminta, dan saat diminta crawl, hanya mengikuti tautan di situs yang sama, paling banyak 50 halaman per permintaan.

Cara mengenalinya

Setiap request membawa user agent ini. Kalau halaman butuh JavaScript, halaman bisa dimuat di browser Chromium headless yang mengirim user agent yang sama.

WisepageBot/0.1 (+https://wisepage.dev/bot)

Cara kami membatasi beban

robots.txt

Crawl mengecek robots.txt secara default, dan untuk request satu halaman pelanggan bisa mewajibkan pengecekan yang sama. Untuk memetakan situs, WisepageBot juga membaca robots.txt dan sitemap Anda. Untuk memblokir WisepageBot dalam pengecekan itu, tambahkan ini ke robots.txt Anda:

User-agent: WisepageBot
Disallow: /

Opt-out sepenuhnya

Untuk menghentikan semua pengambilan dari domain Anda, kirim email kepada kami dari alamat di domain tersebut, atau sertakan bukti kepemilikan lain. Kami memasukkannya ke daftar blokir, termasuk semua subdomain, biasanya dalam dua hari kerja.

Kirim permintaan opt-out ke hello@wisepage.dev