收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| TinEyeBot | TinEyeBot | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| DuckAssistBot | DuckAssist | AI数据 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 活跃 |
| SamsungBrowser | 三星浏览器 | 浏览器爬虫 | 高(实时) | 中(浏览页面+缓存内容+JS渲染结果) | 遵守 | 活跃 |
| QuarkBrowser | 夸克浏览器 | 浏览器爬虫 | 高(实时) | 中(浏览页面+缓存内容+JS渲染结果) | 遵守 | 活跃 |
| AdsBot-Google-Mobile | Google Ads 移动版 | 测试工具 | 未知 | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| MQQBrowser | QQ Browser | 浏览器爬虫 | 高(实时) | 中(浏览页面+缓存内容+JS渲染结果) | 遵守 | 活跃 |
| HeyTapBrowser | 欢太浏览器 | 浏览器爬虫 | 高(实时) | 中(浏览页面+缓存内容+JS渲染结果) | 遵守 | 活跃 |
| GigablastOpenSource | GigablastOpenSource | 网络爬虫 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| SparkBot | Spark | 网站爬虫 | 分布式自适应,单节点 1-3 次 / 分钟,集群动态调配 | 默认 3 层,最大 8 层(可配置) | 遵守 | 活跃 |
| OptusBot | Optus | 搜索引擎 | 单域名 1-2 次 / 分钟,低压力自适应 | 默认 2 层,最大 5 层(可配置) | 遵守 | 活跃 |
| TelstraBot | Telstra | 搜索引擎 | 单域名 1–2 次 / 分钟,低压力自适应 | 默认 2 层,最大 5 层(可配置) | 遵守 | 活跃 |
| AustraliaBot | Australia | 搜索引擎 | 单域名约 2.3 次 / 秒,错误时指数退避 | 默认 3 层,最大 6 层(优先澳域.au站点) | 遵守 | 活跃 |
| AskJeevesBot | AskJeeves | 搜索引擎 | 单域名 1–2 次 / 分钟 | 默认 2 层,最大 4 层 | 遵守 | 活跃 |
| AdsBot-Google-Mobile-Apps | Google Ads 应用版 | 测试工具 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| IndeedJobBot | IndeedJobBot | 网络爬虫 | 中高(5-10分钟/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| Gigabot | Giga | 搜索引擎 | 中高(5-10分钟/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| DeepnocBo | DeepnocBo | 搜索引擎 | 极低(6-24小时/次) | 全量(抓取网站所有可访问页面) | 遵守 | 停用 |
| psbot | psbot | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| SabsimBot | Sabsim | 网络爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| MetaJobBot | MetaJob | 网络爬虫 | 极低(6-24小时/次) | 全量(抓取网站所有可访问页面) | 遵守 | 停用 |
| Gowikibot | Gowikibot | 搜索引擎 | 高(1-5分钟/次) | 全量(抓取网站所有可访问页面) | 遵守 | 活跃 |
| GynxBot | GynxBot | 搜索引擎 | 中(10-30分钟/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| Crawlson | Crawlson | 搜索引擎 | 高(1-5分钟/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| 13TABS | 13TABS | 舆情监控 | 中高(5-10分钟/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| Findxbot | Findxbot | 搜索引擎 | 极低(6-24小时/次) | 中层(抓取首页及二级页面) | 遵守 | 停用 |
| Charlotte | Charlotte | 网络爬虫 | 低(1-6小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| WbSrch | WbSrch | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| iaskspider | Sina iAsk | 搜索引擎 | 中高(5-10分钟/次) | 定向(仅抓取指定页面) | 无视 | 活跃 |
| SERankingBacklinksBot | SERanking | SEO分析 | 低(1-6小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| UCPicBrowser | UC浏览器 | 浏览器爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 无视 | 停用 |