收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Playwright | Playwright | 测试工具 | 未知 | — | 无视 | 停用 |
| Puppeteer | Puppeteer | 测试工具 | 未知 | — | 无视 | 停用 |
| Selenium | Selenium | 测试工具 | 未知 | — | 无视 | 停用 |
| ZmEu | ZmEu | 安全检测 | 未知 | — | 无视 | 停用 |
| StatusCake | StatusCake | 网站监测 | 未知 | — | 无视 | 停用 |
| colly | colly | 通用工具 | 未知 | — | 无视 | 停用 |
| air | air | 安全检测 | 未知 | — | 无视 | 停用 |
| asnriskscorer | asnriskscorer | 安全检测 | 未知 | — | 无视 | 停用 |
| OICrawler | OICrawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| l9scan | l9scan | 安全检测 | 未知 | — | 无视 | 停用 |
| SlaccaleBot | SlaccaleBot | SEO分析 | 未知 | — | 无视 | 停用 |
| CustomAsyncHttpClient | CustomAsyncHttpClient | 通用工具 | 未知 | — | 无视 | 停用 |
| PerplexityUser | PerplexityUser | AI数据 | 未知 | — | 无视 | 停用 |
| webzio | webzio | SEO分析 | 未知 | — | 无视 | 停用 |
| A360-Search | A360-Search | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AASA-Bot | AASA-Bot | 链接预览 | 未知 | — | 无视 | 停用 |
| AccessStatus | AccessStatus | 网站监测 | 未知 | — | 无视 | 停用 |
| Acquia | Acquia | 网站监测 | 未知 | — | 无视 | 停用 |
| ActiveComply | ActiveComply | 网站监测 | 未知 | — | 无视 | 停用 |
| AdkernelTopicCrawler | AdkernelTopicCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AlertSite | AlertSite | 网站监测 | 未知 | — | 无视 | 停用 |
| AllAfrica | AllAfrica | 内容预览 | 未知 | — | 无视 | 停用 |
| Amazing-SearchBot | Amazing-SearchBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Amazon-Bedrock-AgentCore-Browser | Amazon-Bedrock-AgentCore-Browser | 测试工具 | 未知 | — | 无视 | 停用 |
| Anchor | Anchor | 测试工具 | 未知 | — | 无视 | 停用 |
| AP3A | AP3A | 安全检测 | 未知 | — | 无视 | 停用 |
| Archive-It | Archive-It | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| artemis | artemis | 内容预览 | 未知 | — | 无视 | 停用 |
| Attracta | Attracta | SEO分析 | 未知 | — | 无视 | 停用 |
| AudigentAdBot | AudigentAdBot | 服务爬虫 | 未知 | — | 无视 | 停用 |