收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| baiduspider | Baidu | 搜索引擎 | 中高(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| Bingbot | Bing | 搜索引擎 | 高(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| Googlebot | 搜索引擎 | 高(全球动态调整) | 深(全量覆盖) | 遵守 | 活跃 | |
| 360Spider | 360 Search | 搜索引擎 | 中高(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| YisouSpider | 宜搜移动 | 搜索引擎 | 中(移动端优化) | 中(移动端内容) | 遵守 | 活跃 |
| Bytespider | 头条 | 搜索引擎 | 高(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| DuckDuckBot | DuckDuckGo | 搜索引擎 | 中(隐私优先) | 中(筛选抓取) | 遵守 | 活跃 |
| Slurp | Yahoo | 搜索引擎 | 高(动态调整) | 深(全量抓取) | 遵守 | 活跃 |
| SeznamBot | Seznam | 搜索引擎 | 中(每周1次) | 浅(服务信息+通知公告) | 遵守 | 活跃 |
| YandexBot | Yandex | 搜索引擎 | 中(每周1次) | 浅(服务信息+通知公告) | 遵守 | 活跃 |
| Mail.RU_Bot | Mail.ru | 搜索引擎 | 中(每周1次) | 浅(服务信息+通知公告) | 遵守 | 活跃 |
| Yeti | Yeti(NAVER) | 搜索引擎 | 中(每日1次) | 深(全页面内容) | 遵守 | 活跃 |
| Daum | Daum | 搜索引擎 | 中(每日1次) | 深(全页面内容) | 遵守 | 活跃 |
| Sogou web spider | Sogou web spider | 搜索引擎 | 中(每日1次) | 深(全页面内容) | 遵守 | 活跃 |
| YisouSpider-mobile | 宜搜移动 | 搜索引擎 | 中(每周1次) | 浅(服务页面) | 遵守 | 活跃 |
| YisouSpider-image | 宜搜图片 | 搜索引擎 | 中(每周1次) | 浅(服务页面) | 遵守 | 活跃 |
| Applebot | Apple | 搜索引擎 | 高(全球动态调整) | 深(全量覆盖) | 遵守 | 活跃 |
| Googlebot-Image | Google图片 | 搜索引擎 | 无 JS 渲染,仅抓取静态图片资源 | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| Lycos | Lycos | 搜索引擎 | 单域名 1-3 次 / 分钟,老旧站点自动降频 | 默认 3 层,最大 7 层(可配置) | 遵守 | 活跃 |
| Yisouspider-Render | 宜搜渲染 | 搜索引擎 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 活跃 |
| PetalBot | Petal | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| Yisouspider-Video | 宜搜视频 | 搜索引擎 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 活跃 |
| SeekportBot | SeekportBot | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| yacybot | YaCy | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| Findberry Bot | Findberry | 搜索引擎 | 中(每周1次) | 中(企业信息+产品数据+市场动态) | 遵守 | 活跃 |
| coccocbot-image | 可可图片 | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| coccocbot-web | Coc Coc | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| Qwantbot | Qwant | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| Ask Jeeves | Ask.com | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| MojeekBot | Mojeek | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |