收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Generic Bot / Generic Spider | 各类自研程序 | 通用工具 | 未知 | 未知 | 无视 | 停用 |
| node-fetch / undici | Node.js生态（开源HTTP库） | 通用工具 | 按需 | 定向 | 无视 | 停用 |
| aiohttp | aiohttp | 通用工具 | 未知 | — | 无视 | 停用 |
| httpx | httpx | 通用工具 | 未知 | — | 无视 | 停用 |
| libwww-perl | libwww-perl | 通用工具 | 未知 | — | 无视 | 停用 |
| httpunit | httpunit | 通用工具 | 未知 | — | 无视 | 停用 |
| phpcrawl | phpcrawl | 通用工具 | 未知 | — | 无视 | 停用 |
| SimpleCrawler | SimpleCrawler | 通用工具 | 未知 | — | 无视 | 停用 |
| crawler4j | crawler4j | 通用工具 | 未知 | — | 无视 | 停用 |
| Pcore-HTTP | Pcore-HTTP | 通用工具 | 未知 | — | 无视 | 停用 |
| okhttp | OkHttp | 通用工具 | 未知 | 浅层（仅抓取首页及一级页面） | 无视 | 活跃 |
| AHC | AHC | 通用工具 | 未知 | — | 无视 | 停用 |
| Jetty | Jetty | 通用工具 | 未知 | — | 无视 | 停用 |
| http_get | http_get | 通用工具 | 未知 | — | 无视 | 停用 |
| newspaper | newspaper | 通用工具 | 未知 | — | 无视 | 停用 |
| BTWebClient | BTWebClient | 通用工具 | 未知 | — | 无视 | 停用 |
| axios | axios | 通用工具 | 未知 | — | 无视 | 停用 |
| Amazon | Amazon web | 通用工具 | 未知 | — | 无视 | 停用 |
| HttpUrlConnection | HttpUrlConnection | 通用工具 | 未知 | — | 无视 | 停用 |
| AnyEvent | AnyEvent | 通用工具 | 未知 | — | 无视 | 停用 |
| node-fetch | Node.js fetch | 通用工具 | 未知 | — | 无视 | 停用 |
| python-opengraph | python-opengraph | 通用工具 | 未知 | — | 无视 | 停用 |
| sindresorhus | sindresorhus | 通用工具 | 未知 | — | 无视 | 停用 |
| ALittle | ALittle | 通用工具 | 未知 | — | 无视 | 停用 |
| colly | colly | 通用工具 | 未知 | — | 无视 | 停用 |
| CustomAsyncHttpClient | CustomAsyncHttpClient | 通用工具 | 未知 | — | 无视 | 停用 |
| Salesforce | Salesforce | 通用工具 | 未知 | — | 无视 | 停用 |
| trafilatura | trafilatura | 通用工具 | 未知 | — | 无视 | 停用 |
| Download | Download | 通用工具 | 未知 | — | 无视 | 停用 |
| GoParserBot | GoParserBot | 通用工具 | 未知 | — | 无视 | 停用 |