椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 7269 条
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
YuadaBot Yuada 网络爬虫 暂停(24小时以上) 浅层(仅抓取首页及一级页面) 无视 停用
GobiernoVenezuelaBot GobiernoVenezuela 网络爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
UCV-Crawler UCV-Crawler 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
CONATEL-Bot CONATEL-Bot 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
VaticanBot VaticanBot 网络爬虫 低,按需更新抓取 深层(抓取首页及三级以上页面) 遵守 停用
VaticanDocsBot VaticanDocsBot 网络爬虫 极低(6-24小时/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
VaticanNewsBot VaticanNewsBot 新闻媒体 高(1-5分钟/次) 定向(仅抓取指定页面) 遵守 活跃
VaticanMuseumBot VaticanMuseumBot 网络爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 活跃
DicasteryCommBot DicasteryCommBot 宗教爬虫 中高(5-10分钟/次) 定向(仅抓取指定页面) 遵守 活跃
anthropic-ai anthropic-ai AI数据 低(1-6小时/次) 中层(抓取首页及二级页面) 遵守 活跃
web-crawlers web-crawlers 网络爬虫 中(10-30分钟/次) 深层(抓取首页及三级以上页面) 无视 活跃
FeedbinBot FeedbinBot 链接预览 极低(6-24小时/次) 定向(仅抓取指定页面) 遵守 停用
NewsBlurBot NewsBlurBot 链接预览 极低(6-24小时/次) 1 层(仅订阅源与文章页) 遵守 活跃
InoreaderBot InoreaderBot 链接预览 极低(6-24小时/次) 1 层(仅订阅源与文章页) 遵守 活跃
Zapier Zapier 链接预览 极低(6-24小时/次) 定向(仅抓取指定页面) 遵守 活跃
IFTTT IFTTT 链接预览 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 活跃
BufferBot Buffer 链接预览 低(1-6小时/次) 浅层(仅抓取首页及一级页面) 遵守 停用
DeepLBot DeepL AI模型 低(1-6小时/次) 定向(仅抓取指定页面) 遵守 停用
SMTBot SMT 商业蜘蛛 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
mpcrawler mpcrawler 服务爬虫 极低(每 3–7 天一次) 递归抓取所有可访问页面 遵守 活跃
Netcraft SSL Server Survey Netcraft扫描 安全检测 低,按月度周期批量探测 1 层(仅目标端口 / 证书) 遵守 活跃
Internet Measurement Internet Measurement 网络爬虫 极低,单 IP 对单站点日均≤10 次 1 层(仅抓取目标页面 / 节点,不递归抓取) 遵守 活跃
IbouBot IbouBot 搜索引擎 中等,单站间隔抓取 3–5 层 遵守 活跃
Seekport Crawler Seekport Crawler 搜索引擎 中等,部分节点偏高 3–5 层 遵守 活跃
daumoa daumoa 搜索引擎 中高(韩国站点优先,国际站点中等) 深层(抓取首页及三级以上页面) 遵守 活跃
damoa damoa 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
daumos daumos 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duamoa duamoa 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duam duam 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duamo duamo 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
第 5 / 243 页
首页 上一页 2 3 4 5 6 7 8 下一页 尾页
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册