椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 54 条 · 类型「网络爬虫」
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
Mediapartners-Google Google AdSense 网络爬虫 中(广告监测周期) 浅(广告页面/监测点) 遵守 活跃
Infoseek Sidewinder Infoseek 网络爬虫 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 停用
omgilibot omgilibot 网络爬虫 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
NetcraftSurveyAgent NetcraftSurveyAgent 网络爬虫 低(每月1次) 浅(测试页面+API接口+性能数据) 无视 活跃
GigablastOpenSource GigablastOpenSource 网络爬虫 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
IndeedJobBot IndeedJobBot 网络爬虫 中高(5-10分钟/次) 深层(抓取首页及三级以上页面) 遵守 活跃
psbot psbot 网络爬虫 极低(6-24小时/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
SabsimBot Sabsim 网络爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
MetaJobBot MetaJob 网络爬虫 极低(6-24小时/次) 全量(抓取网站所有可访问页面) 遵守 停用
Charlotte Charlotte 网络爬虫 低(1-6小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
WbSrch WbSrch 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
Anthill Anthill 网络爬虫 极低(6-24小时/次) 浅层(仅抓取首页及一级页面) 遵守 停用
PrizmBot PrizmBot 网络爬虫 单域名 2–4 次 / 分钟 默认 2 层,最大 5 层 遵守 活跃
JikibangBot JikibangBot 网络爬虫 单域名 1-3 次 / 分钟 默认 3 层,可配置 遵守 活跃
NaverMapBot NaverMapBot 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 活跃
NaverWeatherBot NaverWeatherBot 网络爬虫 气象类页面每 1-3 小时 1 次,非气象页面极少访问 仅抓取根目录及气象数据相关子页面(深度≤2) 遵守 停用
TikiBot TikiBot 网络爬虫 中等,友好限速 类目页→商品详情页,2 层 遵守 活跃
SendoSpider SendoSpider 网络爬虫 中等,限速访问 列表页→商品详情页,2 层 遵守 活跃
VnexpressBot VnexpressBot 网络爬虫 低中速,单 IP 限速 25 次 / 小时 列表页→文章详情页,2 层 遵守 活跃
ZingNewsBo ZingNewsBo 网络爬虫 中等,单 IP 限速 30 次 / 小时 列表页→详情页,2 层 遵守 活跃
ShopeeLabs Shopee 网络爬虫 低中速,单 IP 限速 40 次 / 小时 类目页→商品详情页,2 层 遵守 活跃
LazadaVNBot LazadaVNBot 网络爬虫 中等,单 IP 限速 60 次 / 小时 类目页→商品页,2 层 遵守 活跃
BuhoBot Buho 网络爬虫 中(单 IP / 域名日均≤200 次请求) 最大 5 层(可自定义限制) 遵守 活跃
AuyantepuiBot Auyantepui 网络爬虫 低(单 IP / 域名日均≤50 次请求) 最大 3 层(仅抓取目标站点核心目录) 遵守 活跃
ChevereBot Chevere 网络爬虫 极低(6-24小时/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
PiranhaBot Piranha 网络爬虫 暂停(24小时以上) 浅层(仅抓取首页及一级页面) 无视 停用
YuadaBot Yuada 网络爬虫 暂停(24小时以上) 浅层(仅抓取首页及一级页面) 无视 停用
GobiernoVenezuelaBot GobiernoVenezuela 网络爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
UCV-Crawler UCV-Crawler 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
CONATEL-Bot CONATEL-Bot 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册