收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| GPTBot | OpenAI | AI数据 | 中（定向抓取） | 中（筛选抓取） | 遵守 | 活跃 |
| Amazonbot | Amazon | AI数据 | 中（定向抓取） | 中（特定领域） | 遵守 | 活跃 |
| facebookexternalhit | AI数据 | 低（按需抓取） | 浅（仅抓取元数据） | 遵守 | 活跃 | |
| meta-webindexer | Meta Web Indexer | AI数据 | 中（定向抓取） | 中（筛选抓取） | 遵守 | 活跃 |
| ClaudeBot | Anthropic | AI数据 | 中（地质数据更新） | 中（地质报告页面） | 遵守 | 活跃 |
| Meta-ExternalAgent | Meta External Agent | AI数据 | 中（每周1次） | 浅（服务页面） | 遵守 | 活跃 |
| YouBot | YouBot | AI数据 | 中（每周1次） | 浅（服务信息+订阅内容+民生数据） | 遵守 | 活跃 |
| DuckAssistBot | DuckAssist | AI数据 | 中（每周1次） | 浅（服务信息+订阅内容+民生数据） | 遵守 | 活跃 |
| anthropic-ai | anthropic-ai | AI数据 | 低（1-6小时/次） | 中层（抓取首页及二级页面） | 遵守 | 活跃 |
| Google-Extended | Google-Extended | AI数据 | 中 | 深（全量抓取） | 遵守 | 活跃 |
| Applebot-Extended | Applebot-Extended | AI数据 | 中 | 深（全量抓取） | 遵守 | 活跃 |
| OAI-SearchBot | OAI-SearchBot | AI数据 | 中 | 定向 | 遵守 | 活跃 |
| ChatGPT-User | ChatGPT-User | AI数据 | 按需（用户触发） | 定向 | 遵守 | 活跃 |
| Claude-User | Claude-User | AI数据 | 按需（用户触发） | 定向 | 遵守 | 活跃 |
| Claude-SearchBot | Claude-SearchBot | AI数据 | 中 | 定向 | 遵守 | 活跃 |
| PerplexityBot | Perplexity | AI数据 | 高 | 深（全量抓取） | 遵守 | 活跃 |
| Perplexity-User | Perplexity-User | AI数据 | 按需 | 定向 | 遵守 | 活跃 |
| cohere-ai | Cohere | AI数据 | 中 | 深 | 遵守 | 活跃 |
| MistralAI-User | MistralAI-User | AI数据 | 按需 | 定向 | 遵守 | 活跃 |
| Diffbot | Diffbot | AI数据 | 中 | 深（结构化解析） | 遵守 | 活跃 |
| FacebookBot | FacebookBot | AI数据 | 中 | 深 | 遵守 | 活跃 |
| CCBot | Common Crawl | AI数据 | 低（每月一次） | 深（全量抓取） | 遵守 | 活跃 |
| PanguBot | 华为 | AI数据 | 中 | 深 | 遵守 | 活跃 |
| Timpibot | Timpi | AI数据 | 中 | 深 | 遵守 | 活跃 |
| Kangaroo Bot | Kangaroo Bot | AI数据 | 中 | 深 | 遵守 | 活跃 |
| ImageSift | ImageSift | AI数据 | 中 | 定向（图片） | 遵守 | 活跃 |
| AgentDataBot | AgentDataBot | AI数据 | Unclear at this time. | — | 无视 | 停用 |
| AgentTimes | AgentTimes | AI数据 | Requests RSS feed every 5-6 minutes. | — | 无视 | 停用 |
| AGI Agent | AGI, Inc | AI数据 | Unclear at this time. | — | 无视 | 停用 |
| AI2Bot | AI2Bot | AI数据 | No information provided. | — | 遵守 | 停用 |