收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Mail.RuBot | Mail.RuBot | 搜索引擎 | 中高，按站点更新频率调整 | 3–6 层 | 遵守 | 活跃 |
| Mail.Ru | MailRu | 搜索引擎 | 中高，按站点更新频率调整 | 3–6 层 | 遵守 | 活跃 |
| CrawlsonBot | CrawlsonBot | 网络爬虫 | 低–中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Crawlson-Crawler | Crawlson-Crawler | 网络爬虫 | 低–中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Crawlson-Image | Crawlson-Image | 网络爬虫 | 低–中等，单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| Deepnoc-Crawler | Deepnoc-Crawler | 网络爬虫 | 低 — 中等，单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| InetDex | InetDex 1.2 | 搜索引擎 | 低 — 中等，单站点间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| NaverBot | NaverBot | 搜索引擎 | 对高频更新站点（如新闻）每小时级抓取，普通站点 1-7 天 / 次（动态自适应） | 常规抓取深度为 5-10 层（可根据站点权重动态调整） | 遵守 | 活跃 |
| hgfAlphaXCrawl | uni-passau bot | 网络爬虫 | 默认 5–10 秒 / 请求，研究场景可自定义 | 默认 3 层，研究场景可配置至 8 层 | 遵守 | 活跃 |
| Neevabot | Neeva | 搜索引擎 | 活跃期：高权重站 1–3 天 / 次，普通站 7–14 天 / 次 | 默认 3 层，聚焦可索引内容页面 | 遵守 | 停用 |
| InfoTigerBot | InfoTiger | 学术蜘蛛 | 自适应：优质站点 3–7 天 / 次，普通站 14–30 天 / 次 | 默认 2–3 层，聚焦有效内容页，过滤无效链接 | 遵守 | 活跃 |
| ABCdatos BotLink | ABCdatos | 网络爬虫 | 每周 2 次；遇 5xx 错误数小时后重试 | 0（仅检测指定链接，无深度抓取） | 遵守 | 活跃 |
| AlkalineBOT | Alkaline | 网络爬虫 | — | 公开互联网网页（独立搜索引擎索引） | 遵守 | 停用 |
| appie | appie | 网络爬虫 | — | 公开互联网网页（轻量索引） | 遵守 | 停用 |
| Gulliver | Gulliver | 搜索引擎 | 单域名 1-2 次 / 分钟 | 默认 3 层，最大 5 层 | 遵守 | 停用 |
| Googlebot-News | Googlebot-News | 搜索引擎 | 高（动态调整） | 定向（新闻页面） | 遵守 | 活跃 |
| Googlebot-Video | Googlebot-Video | 搜索引擎 | 中（动态调整） | 定向（视频页面） | 遵守 | 活跃 |
| APIs-Google | APIs-Google | 服务爬虫 | 低（按需） | 定向 | 遵守 | 活跃 |
| Google-InspectionTool | Google-InspectionTool | 测试工具 | 低（按需） | 定向 | 遵守 | 活跃 |
| GoogleOther | GoogleOther | 搜索引擎 | 中（动态调整） | 中 | 遵守 | 活跃 |
| Google-Extended | Google-Extended | AI数据 | 中 | 深（全量抓取） | 遵守 | 活跃 |
| Google-Safety | Google-Safety | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| FeedFetcher-Google | FeedFetcher-Google | 内容预览 | 中（订阅周期） | 定向（RSS） | 遵守 | 活跃 |
| Google Read Aloud | Google Read Aloud | 服务爬虫 | 低（按需） | 定向 | 遵守 | 活跃 |
| Storebot-Google | Storebot-Google | 电商爬虫 | 中（每日） | 定向（商品页） | 遵守 | 活跃 |
| msnbot | msnbot | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |
| msnbot-NewsBlogs | msnbot-NewsBlogs | 搜索引擎 | 低 | 定向 | 遵守 | 活跃 |
| adidxbot | adidxbot | 测试工具 | 中 | 定向 | 遵守 | 活跃 |
| BingPreview | BingPreview | 链接预览 | 中 | 定向 | 遵守 | 活跃 |
| YandexImages | YandexImages | 搜索引擎 | 中 | 定向（图片） | 遵守 | 活跃 |