收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Shopzilla | Shopzilla | 未分类 | — | — | 无视 | 停用 |
| Bizrate | Bizrate | 未分类 | — | — | 无视 | 停用 |
| Dealtime | Dealtime | 未分类 | — | — | 无视 | 停用 |
| Become | Become | 未分类 | — | — | 无视 | 停用 |
| Shopwiki | Shopwiki | 未分类 | — | — | 无视 | 停用 |
| Smarter | Smarter | 未分类 | — | — | 无视 | 停用 |
| Pricefalls | Pricefalls | 未分类 | — | — | 无视 | 停用 |
| PricefallsBot | PricefallsBot | 未分类 | — | — | 无视 | 停用 |
| BingSiteAuth | BingSiteAuth | 未分类 | — | — | 无视 | 停用 |
| Shenma-Verify | Shenma-Verify | 未分类 | — | — | 无视 | 停用 |
| 360-Zhanzhang-Verify | 360-Zhanzhang-Verify | 未分类 | — | — | 无视 | 停用 |
| Tencent-Cloud-Verify | Tencent-Cloud-Verify | 未分类 | — | — | 无视 | 停用 |
| Alibaba-Cloud-Verify | Alibaba-Cloud-Verify | 未分类 | — | — | 无视 | 停用 |
| Huawei-Cloud-Verify | Huawei-Cloud-Verify | 未分类 | — | — | 无视 | 停用 |
| Miit-Domain-Verify | Miit-Domain-Verify | 未分类 | — | — | 无视 | 停用 |
| Cloudflare-Site-Verify | Cloudflare-Site-Verify | 未分类 | — | — | 无视 | 停用 |
| Namecheap-Domain-Verify | Namecheap-Domain-Verify | 未分类 | — | — | 无视 | 停用 |
| GoDaddy-Domain-Verify | GoDaddy-Domain-Verify | 未分类 | — | — | 无视 | 停用 |
| DNS-Pod-Verify | DNS-Pod-Verify | 未分类 | — | — | 无视 | 停用 |
| GoogleNews | GoogleNews | 未分类 | — | — | 无视 | 停用 |
| BingNews | BingNews | 未分类 | — | — | 无视 | 停用 |
| AppleNews | AppleNews | 未分类 | — | — | 无视 | 停用 |
| MSNNews | MSNNews | 未分类 | — | — | 无视 | 停用 |
| 未分类 | — | — | 无视 | 停用 | ||
| News360 | News360 | 未分类 | — | — | 无视 | 停用 |
| 未分类 | — | — | 无视 | 停用 | ||
| 未分类 | — | — | 无视 | 停用 | ||
| SogouNews | SogouNews | 未分类 | — | — | 无视 | 停用 |
| 360News | 360News | 未分类 | — | — | 无视 | 停用 |
| BaiduNews | BaiduNews | 未分类 | — | — | 无视 | 停用 |