收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| AuctionBot | AuctionBot | 电商爬虫 | 单域名 2–4 次 / 分钟 | 单域名 2–4 次 / 分钟 | 无视 | 活跃 |
| WemakepriceBot | WemakepriceBot | 电商爬虫 | 单域名 2-4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| InterparkBo | InterparkBo | 电商爬虫 | 单域名 2-4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| NaverShoppingBot | NaverShoppingBot | 电商爬虫 | 单域名 3-5 次 / 分钟 | 默认 3 层,最大 6 层 | 遵守 | 活跃 |
| EnuriBot | EnuriBot | 电商爬虫 | 单域名 1-3 次 / 分钟 | 默认 2 层,最大 4 层 | 遵守 | 活跃 |
| Storebot-Google | Storebot-Google | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| YandexMarket | YandexMarket | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| PriceSpider | PriceSpider | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| GittigidiyorBot | Gittigidiyor | 电商爬虫 | 中 | 定向(商品页) | 遵守 | 活跃 |
| FliggySpider | 飞猪(阿里) | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |