收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| YuadaBot | Yuada | 网络爬虫 | 暂停(24小时以上) | 浅层(仅抓取首页及一级页面) | 无视 | 停用 |
| GobiernoVenezuelaBot | GobiernoVenezuela | 网络爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| UCV-Crawler | UCV-Crawler | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| CONATEL-Bot | CONATEL-Bot | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| VaticanBot | VaticanBot | 网络爬虫 | 低,按需更新抓取 | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| VaticanDocsBot | VaticanDocsBot | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| VaticanNewsBot | VaticanNewsBot | 新闻媒体 | 高(1-5分钟/次) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| VaticanMuseumBot | VaticanMuseumBot | 网络爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| DicasteryCommBot | DicasteryCommBot | 宗教爬虫 | 中高(5-10分钟/次) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| anthropic-ai | anthropic-ai | AI数据 | 低(1-6小时/次) | 中层(抓取首页及二级页面) | 遵守 | 活跃 |
| web-crawlers | web-crawlers | 网络爬虫 | 中(10-30分钟/次) | 深层(抓取首页及三级以上页面) | 无视 | 活跃 |
| FeedbinBot | FeedbinBot | 链接预览 | 极低(6-24小时/次) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| NewsBlurBot | NewsBlurBot | 链接预览 | 极低(6-24小时/次) | 1 层(仅订阅源与文章页) | 遵守 | 活跃 |
| InoreaderBot | InoreaderBot | 链接预览 | 极低(6-24小时/次) | 1 层(仅订阅源与文章页) | 遵守 | 活跃 |
| Zapier | Zapier | 链接预览 | 极低(6-24小时/次) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| IFTTT | IFTTT | 链接预览 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| BufferBot | Buffer | 链接预览 | 低(1-6小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 停用 |
| DeepLBot | DeepL | AI模型 | 低(1-6小时/次) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| SMTBot | SMT | 商业蜘蛛 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| mpcrawler | mpcrawler | 服务爬虫 | 极低(每 3–7 天一次) | 递归抓取所有可访问页面 | 遵守 | 活跃 |
| Netcraft SSL Server Survey | Netcraft扫描 | 安全检测 | 低,按月度周期批量探测 | 1 层(仅目标端口 / 证书) | 遵守 | 活跃 |
| Internet Measurement | Internet Measurement | 网络爬虫 | 极低,单 IP 对单站点日均≤10 次 | 1 层(仅抓取目标页面 / 节点,不递归抓取) | 遵守 | 活跃 |
| IbouBot | IbouBot | 搜索引擎 | 中等,单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Seekport Crawler | Seekport Crawler | 搜索引擎 | 中等,部分节点偏高 | 3–5 层 | 遵守 | 活跃 |
| daumoa | daumoa | 搜索引擎 | 中高(韩国站点优先,国际站点中等) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| damoa | damoa | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| daumos | daumos | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duamoa | duamoa | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duam | duam | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duamo | duamo | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |