收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Mail.RuBot | Mail.RuBot | 搜索引擎 | 中高,按站点更新频率调整 | 3–6 层 | 遵守 | 活跃 |
| Mail.Ru | MailRu | 搜索引擎 | 中高,按站点更新频率调整 | 3–6 层 | 遵守 | 活跃 |
| InetDex | InetDex 1.2 | 搜索引擎 | 低 — 中等,单站点间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| NaverBot | NaverBot | 搜索引擎 | 对高频更新站点(如新闻)每小时级抓取,普通站点 1-7 天 / 次(动态自适应) | 常规抓取深度为 5-10 层(可根据站点权重动态调整) | 遵守 | 活跃 |
| Neevabot | Neeva | 搜索引擎 | 活跃期:高权重站 1–3 天 / 次,普通站 7–14 天 / 次 | 默认 3 层,聚焦可索引内容页面 | 遵守 | 停用 |
| Gulliver | Gulliver | 搜索引擎 | 单域名 1-2 次 / 分钟 | 默认 3 层,最大 5 层 | 遵守 | 停用 |
| Googlebot-News | Googlebot-News | 搜索引擎 | 高(动态调整) | 定向(新闻页面) | 遵守 | 活跃 |
| Googlebot-Video | Googlebot-Video | 搜索引擎 | 中(动态调整) | 定向(视频页面) | 遵守 | 活跃 |
| GoogleOther | GoogleOther | 搜索引擎 | 中(动态调整) | 中 | 遵守 | 活跃 |
| msnbot | msnbot | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |
| msnbot-NewsBlogs | msnbot-NewsBlogs | 搜索引擎 | 低 | 定向 | 遵守 | 活跃 |
| YandexImages | YandexImages | 搜索引擎 | 中 | 定向(图片) | 遵守 | 活跃 |
| YandexVideo | YandexVideo | 搜索引擎 | 中 | 定向(视频) | 遵守 | 活跃 |
| YandexNews | YandexNews | 搜索引擎 | 高(每小时) | 定向(新闻) | 遵守 | 活跃 |
| YandexBlogs | YandexBlogs | 搜索引擎 | 中 | 定向 | 遵守 | 活跃 |
| YandexMobileBot | YandexMobileBot | 搜索引擎 | 中 | 中 | 遵守 | 活跃 |
| Baiduspider-image | Baiduspider-image | 搜索引擎 | 中(动态调整) | 定向(图片资源) | 遵守 | 活跃 |
| Baiduspider-video | Baiduspider-video | 搜索引擎 | 中(动态调整) | 定向(视频页面) | 遵守 | 活跃 |
| Baiduspider-news | Baiduspider-news | 搜索引擎 | 高(每小时) | 定向(新闻页面) | 遵守 | 活跃 |
| Sogouwebspider | Sogou | 搜索引擎 | 中(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| SogouNewsSpider | Sogou News | 搜索引擎 | 高(每小时) | 定向(新闻) | 遵守 | 活跃 |
| SogouImageSpider | SogouImageSpider | 搜索引擎 | 中 | 定向(图片) | 遵守 | 活跃 |
| Sogou Orion spider | Sogou Orion spider | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |
| HaoSouSpider | haosou360 | 搜索引擎 | 中 | 深 | 遵守 | 活跃 |
| Yahoo! Slurp | Yahoo! Slurp | 搜索引擎 | 中 | 深 | 遵守 | 活跃 |
| Blekkobot | Blekko | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |
| Bravebot | Brave Search | 搜索引擎 | 中 | 深 | 遵守 | 活跃 |
| Teoma | Ask.com(IAC) | 搜索引擎 | 已停止 | — | 遵守 | 活跃 |
| AddSearchBot | AddSearchBot | 搜索引擎 | Unclear at this time. | — | 无视 | 停用 |
| AIWebIndex | AIWebIndex | 搜索引擎 | At most one request per domain every 2 s | — | 遵守 | 停用 |