Untuk pemilik situs
WisepageBot
WisepageBot mengambil halaman web atas permintaan pelanggan Wisepage. Ia bukan crawler umum: ia hanya membuka halaman yang diminta, dan saat diminta crawl, hanya mengikuti tautan di situs yang sama, paling banyak 50 halaman per permintaan.
Cara mengenalinya
Setiap request membawa user agent ini. Kalau halaman butuh JavaScript, halaman bisa dimuat di browser Chromium headless yang mengirim user agent yang sama.
WisepageBot/0.1 (+https://wisepage.dev/bot)
Cara kami membatasi beban
- Dibatasi per domain. Request ke satu domain dibatasi untuk gabungan semua pelanggan. Halaman yang baru diambil disajikan dari cache, tidak diambil ulang.
- Tanpa aset berat. Gambar, video dan font tidak diunduh saat merender halaman.
- Hanya halaman publik. Kami hanya mengambil halaman yang bisa diakses publik. Kami tidak pernah login atau menembus pembatasan akses.
robots.txt
Crawl mengecek robots.txt secara default, dan untuk request satu halaman pelanggan bisa mewajibkan pengecekan yang sama. Untuk memetakan situs, WisepageBot juga membaca robots.txt dan sitemap Anda. Untuk memblokir WisepageBot dalam pengecekan itu, tambahkan ini ke robots.txt Anda:
User-agent: WisepageBot
Disallow: /
Opt-out sepenuhnya
Untuk menghentikan semua pengambilan dari domain Anda, kirim email kepada kami dari alamat di domain tersebut, atau sertakan bukti kepemilikan lain. Kami memasukkannya ke daftar blokir, termasuk semua subdomain, biasanya dalam dua hari kerja.
Kirim permintaan opt-out ke hello@wisepage.dev