收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| VaticanBot | VaticanBot | 网络爬虫 | 低，按需更新抓取 | 深层（抓取首页及三级以上页面） | 遵守 | 停用 |
| VaticanDocsBot | VaticanDocsBot | 网络爬虫 | 极低（6-24小时/次） | 浅层（仅抓取首页及一级页面） | 遵守 | 活跃 |
| VaticanMuseumBot | VaticanMuseumBot | 网络爬虫 | 极低（6-24小时/次） | 深层（抓取首页及三级以上页面） | 遵守 | 活跃 |
| web-crawlers | web-crawlers | 网络爬虫 | 中（10-30分钟/次） | 深层（抓取首页及三级以上页面） | 无视 | 活跃 |
| Internet Measurement | Internet Measurement | 网络爬虫 | 极低，单 IP 对单站点日均≤10 次 | 1 层（仅抓取目标页面 / 节点，不递归抓取） | 遵守 | 活跃 |
| CrawlsonBot | CrawlsonBot | 网络爬虫 | 低–中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Crawlson-Crawler | Crawlson-Crawler | 网络爬虫 | 低–中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Crawlson-Image | Crawlson-Image | 网络爬虫 | 低–中等，单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| Deepnoc-Crawler | Deepnoc-Crawler | 网络爬虫 | 低 — 中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| hgfAlphaXCrawl | uni-passau bot | 网络爬虫 | 默认 5–10 秒 / 请求，研究场景可自定义 | 默认 3 层，研究场景可配置至 8 层 | 遵守 | 活跃 |
| ABCdatos BotLink | ABCdatos | 网络爬虫 | 每周 2 次；遇 5xx 错误数小时后重试 | 0（仅检测指定链接，无深度抓取） | 遵守 | 活跃 |
| AlkalineBOT | Alkaline | 网络爬虫 | — | 公开互联网网页（独立搜索引擎索引） | 遵守 | 停用 |
| appie | appie | 网络爬虫 | — | 公开互联网网页（轻量索引） | 遵守 | 停用 |
| Wget | Wget | 网络爬虫 | 按需 | 深（递归镜像） | 无视 | 停用 |
| curl | Curl | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| HTTrack | HTTrack | 网络爬虫 | 按需 | 深（整站镜像） | 无视 | 停用 |
| WebZIP | Spidersoft | 网络爬虫 | 按需 | 深（整站镜像） | 无视 | 停用 |
| Scrapy | Scrapy社区 | 网络爬虫 | 按需 | 自定义 | 无视 | 停用 |
| python-requests | python-requests | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Python-urllib | Python社区 | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Apache-HttpClient | Apache-HttpClient | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Go-http-client | Go社区 | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Twisted PageGetter | Twisted PageGetter | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| CATExplorador | 待核实（西班牙语区） | 网络爬虫 | 未知 | 未知 | 无视 | 停用 |