收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| YandexVideo | YandexVideo | 搜索引擎 | 中 | 定向(视频) | 遵守 | 活跃 |
| YandexNews | YandexNews | 搜索引擎 | 高(每小时) | 定向(新闻) | 遵守 | 活跃 |
| YandexBlogs | YandexBlogs | 搜索引擎 | 中 | 定向 | 遵守 | 活跃 |
| YandexFavicons | YandexFavicons | 服务爬虫 | 低(每周) | 定向(favicon) | 遵守 | 活跃 |
| YandexDirect | YandexDirect | 测试工具 | 中 | 定向 | 遵守 | 活跃 |
| YandexMarket | YandexMarket | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| YandexAccessibilityBot | YandexAccessibilityBot | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| YandexMobileBot | YandexMobileBot | 搜索引擎 | 中 | 中 | 遵守 | 活跃 |
| YandexPageChecker | YandexPageChecker | 测试工具 | 低(按需) | 定向 | 遵守 | 活跃 |
| YandexCalendar | YandexCalendar | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| YandexVerticals | YandexVerticals | 服务爬虫 | 中 | 定向 | 遵守 | 活跃 |
| YandexForDomain | YandexForDomain | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| YandexScreenshotBot | YandexScreenshotBot | 链接预览 | 低(按需) | 定向 | 遵守 | 活跃 |
| Baiduspider-image | Baiduspider-image | 搜索引擎 | 中(动态调整) | 定向(图片资源) | 遵守 | 活跃 |
| Baiduspider-video | Baiduspider-video | 搜索引擎 | 中(动态调整) | 定向(视频页面) | 遵守 | 活跃 |
| Baiduspider-news | Baiduspider-news | 搜索引擎 | 高(每小时) | 定向(新闻页面) | 遵守 | 活跃 |
| Baiduspider-lbs | Baiduspider-lbs | 服务爬虫 | 中 | 定向(本地商户页) | 遵守 | 活跃 |
| Baiduspider-favo | Baiduspider-favo | 服务爬虫 | 低(按需) | 定向 | 遵守 | 活跃 |
| Baiduspider-cpro | Baiduspider-cpro | 测试工具 | 中 | 定向 | 遵守 | 活跃 |
| Baiduspider-ads | Baiduspider-ads | 测试工具 | 中 | 定向 | 遵守 | 活跃 |
| Sogouwebspider | Sogou | 搜索引擎 | 中(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| SogouNewsSpider | Sogou News | 搜索引擎 | 高(每小时) | 定向(新闻) | 遵守 | 活跃 |
| SogouImageSpider | SogouImageSpider | 搜索引擎 | 中 | 定向(图片) | 遵守 | 活跃 |
| Sogou-Test-Spider | Sogou-Test-Spider | 测试工具 | 低 | 定向 | 遵守 | 活跃 |
| Sogou Orion spider | Sogou Orion spider | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |
| Sogou inst spider | Sogou inst spider | 服务爬虫 | 中 | 定向 | 遵守 | 活跃 |
| HaoSouSpider | haosou360 | 搜索引擎 | 中 | 深 | 遵守 | 活跃 |
| Applebot-Extended | Applebot-Extended | AI数据 | 中 | 深(全量抓取) | 遵守 | 活跃 |
| Yahoo! Slurp | Yahoo! Slurp | 搜索引擎 | 中 | 深 | 遵守 | 活跃 |
| Blekkobot | Blekko | 搜索引擎 | 低 | 中 | 遵守 | 活跃 |