收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| google-xrawler | google-xrawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| axios | axios | 通用工具 | 未知 | — | 无视 | 停用 |
| Amazon | Amazon web | 通用工具 | 未知 | — | 无视 | 停用 |
| Pulsepoint | Pulsepoint | 服务爬虫 | 未知 | — | 无视 | 停用 |
| CloudFlare-AlwaysOnline | CloudFlare-AlwaysOnline | 网站监测 | 未知 | — | 无视 | 停用 |
| Cloudflare-Healthchecks | Cloudflare-Healthchecks | 网站监测 | 未知 | — | 无视 | 停用 |
| Cloudflare-Traffic-Manager | Cloudflare-Traffic-Manager | 网站监测 | 未知 | — | 无视 | 停用 |
| CloudFlare-Prefetch | CloudFlare-Prefetch | SEO分析 | 未知 | — | 无视 | 停用 |
| Cloudflare-SSLDetector | Cloudflare-SSLDetector | 安全检测 | 未知 | — | 无视 | 停用 |
| https: | https: | 安全检测 | 未知 | — | 无视 | 停用 |
| Google-Structured-Data-Testing-Tool | Google-Structured-Data-Testing-Tool | 搜索引擎 | 未知 | — | 无视 | 停用 |
| WordupInfoSearch | WordupInfoSearch | 搜索引擎 | 未知 | — | 无视 | 停用 |
| WebDataStats | WebDataStats | SEO分析 | 未知 | — | 无视 | 停用 |
| HttpUrlConnection | HttpUrlConnection | 通用工具 | 未知 | — | 无视 | 停用 |
| ZoomBot | ZoomBot | SEO分析 | 未知 | — | 无视 | 停用 |
| MoodleBot | MoodleBot | SEO分析 | 未知 | — | 无视 | 停用 |
| jpg-newsbot | jpg-newsbot | SEO分析 | 未知 | — | 无视 | 停用 |
| outbrain | outbrain | 服务爬虫 | 未知 | — | 无视 | 停用 |
| W3C_Validator | W3C_Validator | 网站监测 | 未知 | — | 无视 | 停用 |
| Validator | Validator | 网站监测 | 未知 | — | 无视 | 停用 |
| W3C-checklink | W3C-checklink | 网站监测 | 未知 | — | 无视 | 停用 |
| W3C-mobileOK | W3C-mobileOK | 网站监测 | 未知 | — | 无视 | 停用 |
| W3C_I18n-Checker | W3C_I18n-Checker | 网站监测 | 未知 | — | 无视 | 停用 |
| FeedValidator | FeedValidator | 网站监测 | 未知 | — | 无视 | 停用 |
| W3C_CSS_Validator | W3C_CSS_Validator | 网站监测 | 未知 | — | 无视 | 停用 |
| W3C_Unicorn | W3C_Unicorn | 网站监测 | 未知 | — | 无视 | 停用 |
| Google-PhysicalWeb | Google-PhysicalWeb | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Blackboard | Blackboard | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| ICBot | ICBot | SEO分析 | 未知 | — | 无视 | 停用 |
| BazQux | BazQux | 内容预览 | 未知 | — | 无视 | 停用 |