收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| FeedlyBot | FeedlyBot | 未分类 | — | — | 无视 | 停用 |
| Grapeshot | Grapeshot | 未分类 | — | — | 无视 | 停用 |
| SerpApi | SerpApi | 未分类 | — | — | 无视 | 停用 |
| ContentKing | ContentKing | 未分类 | — | — | 无视 | 停用 |
| SEOBility | SEOBility | 未分类 | — | — | 无视 | 停用 |
| Ubersuggest | Ubersuggest | 未分类 | — | — | 无视 | 停用 |
| RankTracker | RankTracker | 未分类 | — | — | 无视 | 停用 |
| SEOquake | SEOquake | 未分类 | — | — | 无视 | 停用 |
| Morkva | Morkva | 未分类 | — | — | 无视 | 停用 |
| AliBot | AliBot | 未分类 | — | — | 无视 | 停用 |
| WishBot | WishBot | 未分类 | — | — | 无视 | 停用 |
| LazadaBot | LazadaBot | 未分类 | — | — | 无视 | 停用 |
| CrawlBot | CrawlBot | 未分类 | — | — | 无视 | 停用 |
| gocrawler | gocrawler | 未分类 | — | — | 无视 | 停用 |
| DataMiner | DataMiner | 未分类 | — | — | 无视 | 停用 |
| WebHarvy | WebHarvy | 未分类 | — | — | 无视 | 停用 |
| BeautifulSoup | BeautifulSoup | 未分类 | — | — | 无视 | 停用 |
| QualysBot | QualysBot | 未分类 | — | — | 无视 | 停用 |
| NessusBot | NessusBot | 未分类 | — | — | 无视 | 停用 |
| ZAPBot | ZAPBot | 未分类 | — | — | 无视 | 停用 |
| CloudflareBot | CloudflareBot | 未分类 | — | — | 无视 | 停用 |
| WatchGuard | WatchGuard | 未分类 | — | — | 无视 | 停用 |
| Lynx | Lynx | 未分类 | — | — | 无视 | 停用 |
| sohu-search | sohu-search | 未分类 | — | — | 无视 | 停用 |
| NetEaseBot | NetEaseBot | 未分类 | — | — | 无视 | 停用 |
| ElasticBot | ElasticBot | 未分类 | — | — | 无视 | 停用 |
| RakutenBot | RakutenBot | 未分类 | — | — | 无视 | 停用 |
| Sina Spider | Sina Spider | 未分类 | — | — | 无视 | 停用 |
| TencentSpider | TencentSpider | 未分类 | — | — | 无视 | 停用 |
| GoVietBot | GoVietBot | 未分类 | — | — | 无视 | 停用 |