椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 7269 条
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
TinEyeBot TinEyeBot 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
DuckAssistBot DuckAssist AI数据 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
SamsungBrowser 三星浏览器 浏览器爬虫 高(实时) 中(浏览页面+缓存内容+JS渲染结果) 遵守 活跃
QuarkBrowser 夸克浏览器 浏览器爬虫 高(实时) 中(浏览页面+缓存内容+JS渲染结果) 遵守 活跃
AdsBot-Google-Mobile Google Ads 移动版 测试工具 未知 深层(抓取首页及三级以上页面) 遵守 活跃
MQQBrowser QQ Browser 浏览器爬虫 高(实时) 中(浏览页面+缓存内容+JS渲染结果) 遵守 活跃
HeyTapBrowser 欢太浏览器 浏览器爬虫 高(实时) 中(浏览页面+缓存内容+JS渲染结果) 遵守 活跃
GigablastOpenSource GigablastOpenSource 网络爬虫 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
SparkBot Spark 网站爬虫 分布式自适应,单节点 1-3 次 / 分钟,集群动态调配 默认 3 层,最大 8 层(可配置) 遵守 活跃
OptusBot Optus 搜索引擎 单域名 1-2 次 / 分钟,低压力自适应 默认 2 层,最大 5 层(可配置) 遵守 活跃
TelstraBot Telstra 搜索引擎 单域名 1–2 次 / 分钟,低压力自适应 默认 2 层,最大 5 层(可配置) 遵守 活跃
AustraliaBot Australia 搜索引擎 单域名约 2.3 次 / 秒,错误时指数退避 默认 3 层,最大 6 层(优先澳域.au站点) 遵守 活跃
AskJeevesBot AskJeeves 搜索引擎 单域名 1–2 次 / 分钟 默认 2 层,最大 4 层 遵守 活跃
AdsBot-Google-Mobile-Apps Google Ads 应用版 测试工具 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
IndeedJobBot IndeedJobBot 网络爬虫 中高(5-10分钟/次) 深层(抓取首页及三级以上页面) 遵守 活跃
Gigabot Giga 搜索引擎 中高(5-10分钟/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
DeepnocBo DeepnocBo 搜索引擎 极低(6-24小时/次) 全量(抓取网站所有可访问页面) 遵守 停用
psbot psbot 网络爬虫 极低(6-24小时/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
SabsimBot Sabsim 网络爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
MetaJobBot MetaJob 网络爬虫 极低(6-24小时/次) 全量(抓取网站所有可访问页面) 遵守 停用
Gowikibot Gowikibot 搜索引擎 高(1-5分钟/次) 全量(抓取网站所有可访问页面) 遵守 活跃
GynxBot GynxBot 搜索引擎 中(10-30分钟/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
Crawlson Crawlson 搜索引擎 高(1-5分钟/次) 深层(抓取首页及三级以上页面) 遵守 活跃
13TABS 13TABS 舆情监控 中高(5-10分钟/次) 深层(抓取首页及三级以上页面) 遵守 活跃
Findxbot Findxbot 搜索引擎 极低(6-24小时/次) 中层(抓取首页及二级页面) 遵守 停用
Charlotte Charlotte 网络爬虫 低(1-6小时/次) 深层(抓取首页及三级以上页面) 遵守 停用
WbSrch WbSrch 网络爬虫 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 停用
iaskspider Sina iAsk 搜索引擎 中高(5-10分钟/次) 定向(仅抓取指定页面) 无视 活跃
SERankingBacklinksBot SERanking SEO分析 低(1-6小时/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
UCPicBrowser UC浏览器 浏览器爬虫 极低(6-24小时/次) 深层(抓取首页及三级以上页面) 无视 停用
第 3 / 243 页
首页 上一页 1 2 3 4 5 6 下一页 尾页
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册