收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| NARA-Crawler | 美国国家档案馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| NOAA-Bot | 美国国家海洋和大气管理局 | 服务爬虫 | 中（每小时） | 定向 | 遵守 | 活跃 |
| NASA-Bot | 美国宇航局 | 服务爬虫 | 中（每日） | 定向 | 遵守 | 活跃 |
| UKGovBot | 英国政府（GOV.UK） | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| ONS-Bot | 英国国家统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| MetOffice-Bot | 英国气象局 | 服务爬虫 | 高（每小时） | 定向 | 遵守 | 活跃 |
| CanadaGovBot | 加拿大政府 | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| StatCan-Bot | 加拿大统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| LAC-CA-Bot | 加拿大图书档案馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| CBC-CA-Bot | 加拿大广播公司 | 新闻媒体 | 高（实时） | 定向（新闻） | 遵守 | 活跃 |
| AustraliaGovBot | 澳大利亚政府 | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| ABS-Bot | 澳大利亚统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| NLA-WebArchive-Bot | 澳大利亚国家图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| EUROPABot | 欧盟委员会 | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| Eurostat-Bot | 欧盟统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| DeutschlandGovBot | 德国政府 | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| Destatis-Bot | 德国联邦统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| DNB-DE-Crawler | 德国国家图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| FranceGovBot | 法国政府 | 服务爬虫 | 中（每日） | 深 | 遵守 | 活跃 |
| INSEE-Bot | 法国国家统计局 | 服务爬虫 | 中（每月） | 定向 | 遵守 | 活跃 |
| Wget | Wget | 网络爬虫 | 按需 | 深（递归镜像） | 无视 | 停用 |
| curl | Curl | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| HTTrack | HTTrack | 网络爬虫 | 按需 | 深（整站镜像） | 无视 | 停用 |
| WebZIP | Spidersoft | 网络爬虫 | 按需 | 深（整站镜像） | 无视 | 停用 |
| Scrapy | Scrapy社区 | 网络爬虫 | 按需 | 自定义 | 无视 | 停用 |
| python-requests | python-requests | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Python-urllib | Python社区 | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Apache-HttpClient | Apache-HttpClient | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| Go-http-client | Go社区 | 网络爬虫 | 按需 | 定向 | 无视 | 停用 |
| HeadlessChrome | Chromium | 测试工具 | 按需 | 中 | 遵守 | 活跃 |