收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| QunarSpider | QunarSpider | 未分类 | — | — | 无视 | 停用 |
| AutohomeSpider | AutohomeSpider | 未分类 | — | — | 无视 | 停用 |
| YicheSpider | YicheSpider | 未分类 | — | — | 无视 | 停用 |
| BitAutoSpider | BitAutoSpider | 未分类 | — | — | 无视 | 停用 |
| LianjiaSpider | LianjiaSpider | 未分类 | — | — | 无视 | 停用 |
| AnjukeSpider | AnjukeSpider | 未分类 | — | — | 无视 | 停用 |
| FangSpider | FangSpider | 未分类 | — | — | 无视 | 停用 |
| ZhaopinSpider | ZhaopinSpider | 未分类 | — | — | 无视 | 停用 |
| LiepinSpider | LiepinSpider | 未分类 | — | — | 无视 | 停用 |
| BossZhipinSpider | BossZhipinSpider | 未分类 | — | — | 无视 | 停用 |
| AliYunDunSpider | AliYunDunSpider | 未分类 | — | — | 无视 | 停用 |
| TencentCloudDunSpider | TencentCloudDunSpider | 未分类 | — | — | 无视 | 停用 |
| HuaweiCloudDunSpider | HuaweiCloudDunSpider | 未分类 | — | — | 无视 | 停用 |
| BaiduCloudDunSpider | BaiduCloudDunSpider | 未分类 | — | — | 无视 | 停用 |
| MonitorSpider | MonitorSpider | 未分类 | — | — | 无视 | 停用 |
| UptimeRobotSpider | UptimeRobotSpider | 未分类 | — | — | 无视 | 停用 |
| 360SiteScanSpider | 360SiteScanSpider | 未分类 | — | — | 无视 | 停用 |
| ChinazSpider | ChinazSpider | 未分类 | — | — | 无视 | 停用 |
| AizhanSpider | AizhanSpider | 未分类 | — | — | 无视 | 停用 |
| 5118Spider | 5118Spider | 未分类 | — | — | 无视 | 停用 |
| SEMrushCNSpider | SEMrushCNSpider | 未分类 | — | — | 无视 | 停用 |
| CNKISpider | CNKISpider | 未分类 | — | — | 无视 | 停用 |
| CSCDSpider | CSCDSpider | 未分类 | — | — | 无视 | 停用 |
| CSTPSpider | CSTPSpider | 未分类 | — | — | 无视 | 停用 |
| CASHLSpider | CASHLSpider | 未分类 | — | — | 无视 | 停用 |
| DataCNSpider | DataCNSpider | 未分类 | — | — | 无视 | 停用 |
| ChinaDataCloudSpider | ChinaDataCloudSpider | 未分类 | — | — | 无视 | 停用 |
| CALISSpider | CALISSpider | 未分类 | — | — | 无视 | 停用 |
| NLCArchiveSpider | NLCArchiveSpider | 未分类 | — | — | 无视 | 停用 |
| HKUSTSpider | HKUSTSpider | 未分类 | — | — | 无视 | 停用 |