收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Maxthon | 傲游浏览器 | 浏览器爬虫 | 暂停(24小时以上) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| Yahoo Latino Bot | Yahoo Latino | 搜索引擎 | 单域名 1–2 次 / 分钟 | 默认 3 层,最大 5 层 | 遵守 | 活跃 |
| BellBot | Bell | 搜索引擎 | 单域名 1 次 / 1–2 分钟 | 默认 2 层,最大 4 层 | 遵守 | 停用 |
| presearch | presearch | 搜索引擎 | 极低(6-24小时/次) | 中层(抓取首页及二级页面) | 遵守 | 活跃 |
| deepnoc | deepnoc | 搜索引擎 | 低(1-6小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 停用 |
| YaCy-Bot | YaCy-Bot | 其他类型爬虫 | 暂停(24小时以上) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| FeedFetcher-Mojeek | FeedFetcher-Mojeek | 链接预览 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| Anthill | Anthill | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 停用 |
| FlipboardProxy | 红板报 | 内容预览 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| AuctionBot | AuctionBot | 电商爬虫 | 单域名 2–4 次 / 分钟 | 单域名 2–4 次 / 分钟 | 无视 | 活跃 |
| WemakepriceBot | WemakepriceBot | 电商爬虫 | 单域名 2-4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| InterparkBo | InterparkBo | 电商爬虫 | 单域名 2-4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| NaverShoppingBot | NaverShoppingBot | 电商爬虫 | 单域名 3-5 次 / 分钟 | 默认 3 层,最大 6 层 | 遵守 | 活跃 |
| EnuriBot | EnuriBot | 电商爬虫 | 单域名 1-3 次 / 分钟 | 默认 2 层,最大 4 层 | 遵守 | 活跃 |
| PrizmBot | PrizmBot | 网络爬虫 | 单域名 2–4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| JikibangBot | JikibangBot | 网络爬虫 | 单域名 1-3 次 / 分钟 | 默认 3 层,可配置 | 遵守 | 活跃 |
| NaverMapBot | NaverMapBot | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| NaverWeatherBot | NaverWeatherBot | 网络爬虫 | 气象类页面每 1-3 小时 1 次,非气象页面极少访问 | 仅抓取根目录及气象数据相关子页面(深度≤2) | 遵守 | 停用 |
| Daumoa-image | Daumoa-image | 搜索引擎 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| coccocbot-mobile | coccoc移动版 | 搜索引擎 | 中等,友好限速 | 移动列表页→移动详情页,2 层 | 遵守 | 活跃 |
| TikiBot | TikiBot | 网络爬虫 | 中等,友好限速 | 类目页→商品详情页,2 层 | 遵守 | 活跃 |
| SendoSpider | SendoSpider | 网络爬虫 | 中等,限速访问 | 列表页→商品详情页,2 层 | 遵守 | 活跃 |
| VnexpressBot | VnexpressBot | 网络爬虫 | 低中速,单 IP 限速 25 次 / 小时 | 列表页→文章详情页,2 层 | 遵守 | 活跃 |
| ZingNewsBo | ZingNewsBo | 网络爬虫 | 中等,单 IP 限速 30 次 / 小时 | 列表页→详情页,2 层 | 遵守 | 活跃 |
| ShopeeLabs | Shopee | 网络爬虫 | 低中速,单 IP 限速 40 次 / 小时 | 类目页→商品详情页,2 层 | 遵守 | 活跃 |
| LazadaVNBot | LazadaVNBot | 网络爬虫 | 中等,单 IP 限速 60 次 / 小时 | 类目页→商品页,2 层 | 遵守 | 活跃 |
| BuhoBot | Buho | 网络爬虫 | 中(单 IP / 域名日均≤200 次请求) | 最大 5 层(可自定义限制) | 遵守 | 活跃 |
| AuyantepuiBot | Auyantepui | 网络爬虫 | 低(单 IP / 域名日均≤50 次请求) | 最大 3 层(仅抓取目标站点核心目录) | 遵守 | 活跃 |
| ChevereBot | Chevere | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| PiranhaBot | Piranha | 网络爬虫 | 暂停(24小时以上) | 浅层(仅抓取首页及一级页面) | 无视 | 停用 |