收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| CityUSpider | CityUSpider | 未分类 | — | — | 无视 | 停用 |
| PolyUSpider | PolyUSpider | 未分类 | — | — | 无视 | 停用 |
| HKBUSpider | HKBUSpider | 未分类 | — | — | 无视 | 停用 |
| LingnanSpider | LingnanSpider | 未分类 | — | — | 无视 | 停用 |
| UMSpider | UMSpider | 未分类 | — | — | 无视 | 停用 |
| MUSTSpider | MUSTSpider | 未分类 | — | — | 无视 | 停用 |
| NCTUSpider | NCTUSpider | 未分类 | — | — | 无视 | 停用 |
| NTHUSpider | NTHUSpider | 未分类 | — | — | 无视 | 停用 |
| NCKUSpider | NCKUSpider | 未分类 | — | — | 无视 | 停用 |
| NTNUSpider | NTNUSpider | 未分类 | — | — | 无视 | 停用 |
| NCCUSpider | NCCUSpider | 未分类 | — | — | 无视 | 停用 |
| ErnieSearchBot | ErnieSearchBot | 未分类 | — | — | 无视 | 停用 |
| HunyuanBot | HunyuanBot | 未分类 | — | — | 无视 | 停用 |
| iFlyCodeBot | iFlyCodeBot | 未分类 | — | — | 无视 | 停用 |
| SenseTimeBot | SenseTimeBot | 未分类 | — | — | 无视 | 停用 |
| ZhipuBot | ZhipuBot | 未分类 | — | — | 无视 | 停用 |
| BaichuanBot | BaichuanBot | 未分类 | — | — | 无视 | 停用 |
| MiniMaxBot | MiniMaxBot | 未分类 | — | — | 无视 | 停用 |
| ChinaArchiveBot | ChinaArchiveBot | 未分类 | — | — | 无视 | 停用 |
| ChinaWebArchiveBot | ChinaWebArchiveBot | 未分类 | — | — | 无视 | 停用 |
| ChinaCommonCrawlBot | ChinaCommonCrawlBot | 未分类 | — | — | 无视 | 停用 |
| ChinaOpenDataBot | ChinaOpenDataBot | 未分类 | — | — | 无视 | 停用 |
| ChinaResearchBot | ChinaResearchBot | 未分类 | — | — | 无视 | 停用 |
| Zmap | Zmap | 未分类 | — | — | 无视 | 停用 |
| Censys | Censys | 未分类 | — | — | 无视 | 停用 |
| Fofa | Fofa | 未分类 | — | — | 无视 | 停用 |
| DirBuster | DirBuster | 未分类 | — | — | 无视 | 停用 |
| Gobuster | Gobuster | 未分类 | — | — | 无视 | 停用 |
| FFuF | FFuF | 未分类 | — | — | 无视 | 停用 |
| BurpSuite | BurpSuite | 未分类 | — | — | 无视 | 停用 |