收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| baiduspider | Baidu | 搜索引擎 | 中高（动态调整） | 深（全量抓取） | 遵守 | 活跃 |
| Bingbot | Bing | 搜索引擎 | 高（动态调整） | 深（全量抓取） | 遵守 | 活跃 |
| GPTBot | OpenAI | AI数据 | 中（定向抓取） | 中（筛选抓取） | 遵守 | 活跃 |
| Amazonbot | Amazon | AI数据 | 中（定向抓取） | 中（特定领域） | 遵守 | 活跃 |
| Googlebot | 搜索引擎 | 高（全球动态调整） | 深（全量覆盖） | 遵守 | 活跃 | |
| facebookexternalhit | AI数据 | 低（按需抓取） | 浅（仅抓取元数据） | 遵守 | 活跃 | |
| meta-webindexer | Meta Web Indexer | AI数据 | 中（定向抓取） | 中（筛选抓取） | 遵守 | 活跃 |
| 360Spider | 360 Search | 搜索引擎 | 中高（动态调整） | 深（全量抓取） | 遵守 | 活跃 |
| YisouSpider | 宜搜移动 | 搜索引擎 | 中（移动端优化） | 中（移动端内容） | 遵守 | 活跃 |
| Bytespider | 头条 | 搜索引擎 | 高（动态调整） | 深（全量抓取） | 遵守 | 活跃 |
| DuckDuckBot | DuckDuckGo | 搜索引擎 | 中（隐私优先） | 中（筛选抓取） | 遵守 | 活跃 |
| Slurp | Yahoo | 搜索引擎 | 高（动态调整） | 深（全量抓取） | 遵守 | 活跃 |
| ClaudeBot | Anthropic | AI数据 | 中（地质数据更新） | 中（地质报告页面） | 遵守 | 活跃 |
| MJ12bot | Majestic-12 | SEO分析 | 中（常规更新周期） | 中（服务相关页面） | 遵守 | 活跃 |
| AhrefsBot | Ahrefs bot | SEO分析 | 中（常规更新周期） | 中（服务相关页面） | 遵守 | 活跃 |
| SemrushBot | Semrush | SEO分析 | 中（常规更新周期） | 中（服务相关页面） | 遵守 | 活跃 |
| Mediapartners-Google | Google AdSense | 网络爬虫 | 中（广告监测周期） | 浅（广告页面/监测点） | 遵守 | 活跃 |
| AdsBot-Google | AdsBot-Google | 测试工具 | 中高（广告优化周期） | 中（广告相关页面） | 遵守 | 活跃 |
| SeznamBot | Seznam | 搜索引擎 | 中（每周1次） | 浅（服务信息+通知公告） | 遵守 | 活跃 |
| YandexBot | Yandex | 搜索引擎 | 中（每周1次） | 浅（服务信息+通知公告） | 遵守 | 活跃 |
| YandexMetrika | Yandex Metrika | 网站监测 | 中（每周1次） | 浅（服务信息+通知公告） | 遵守 | 活跃 |
| Mail.RU_Bot | Mail.ru | 搜索引擎 | 中（每周1次） | 浅（服务信息+通知公告） | 遵守 | 活跃 |
| Exabot | Exalead | 搜索引擎爬虫 | 中（每日1次） | 深（全页面内容） | 遵守 | 活跃 |
| Yeti | Yeti(NAVER) | 搜索引擎 | 中（每日1次） | 深（全页面内容） | 遵守 | 活跃 |
| Daum | Daum | 搜索引擎 | 中（每日1次） | 深（全页面内容） | 遵守 | 活跃 |
| Meta-ExternalAgent | Meta External Agent | AI数据 | 中（每周1次） | 浅（服务页面） | 遵守 | 活跃 |
| Sogou web spider | Sogou web spider | 搜索引擎 | 中（每日1次） | 深（全页面内容） | 遵守 | 活跃 |
| MicroMessenger | 微信浏览器 | 浏览器爬虫 | 高（实时） | 中（浏览页面） | 遵守 | 活跃 |
| YisouSpider-mobile | 宜搜移动 | 搜索引擎 | 中（每周1次） | 浅（服务页面） | 遵守 | 活跃 |
| YisouSpider-image | 宜搜图片 | 搜索引擎 | 中（每周1次） | 浅（服务页面） | 遵守 | 活跃 |