收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Cloudflare-SSLDetector | Cloudflare-SSLDetector | 安全检测 | 未知 | — | 无视 | 停用 |
| https: | https: | 安全检测 | 未知 | — | 无视 | 停用 |
| Nmap | Nmap | 安全检测 | 未知 | — | 无视 | 停用 |
| UT-Dorkbot | UT-Dorkbot | 安全检测 | 未知 | — | 无视 | 停用 |
| NINJA | NINJA | 安全检测 | 未知 | — | 无视 | 停用 |
| virustotal | virustotal | 安全检测 | 未知 | — | 无视 | 停用 |
| Cookiebot | Cookiebot | 安全检测 | 未知 | — | 无视 | 停用 |
| LightspeedSystemsCrawler | LightspeedSystemsCrawler | 安全检测 | 未知 | — | 无视 | 停用 |
| ReverseEngineeringBot | ReverseEngineeringBot | 安全检测 | 未知 | — | 无视 | 停用 |
| l9explore | l9explore | 安全检测 | 未知 | — | 无视 | 停用 |
| NetSystemsResearch | NetSystemsResearch | 安全检测 | 未知 | — | 无视 | 停用 |
| Expanse | Expanse | 安全检测 | 未知 | — | 无视 | 停用 |
| CookieHubScan | CookieHubScan | 安全检测 | 未知 | — | 无视 | 停用 |
| HTTP | HTTP | 安全检测 | 未知 | — | 无视 | 停用 |
| ZmEu | ZmEu | 安全检测 | 未知 | — | 无视 | 停用 |
| air | air | 安全检测 | 未知 | — | 无视 | 停用 |
| asnriskscorer | asnriskscorer | 安全检测 | 未知 | — | 无视 | 停用 |
| l9scan | l9scan | 安全检测 | 未知 | — | 无视 | 停用 |
| AP3A | AP3A | 安全检测 | 未知 | — | 无视 | 停用 |
| BrowserBot-Observer | BrowserBot-Observer | 安全检测 | 未知 | — | 无视 | 停用 |
| CertChief | CertChief | 安全检测 | 未知 | — | 无视 | 停用 |
| cookie-maestro | cookie-maestro | 安全检测 | 未知 | — | 无视 | 停用 |
| CookieHubVerify | CookieHubVerify | 安全检测 | 未知 | — | 无视 | 停用 |
| CookieYesbot | CookieYesbot | 安全检测 | 未知 | — | 无视 | 停用 |
| cypex | cypex | 安全检测 | 未知 | — | 无视 | 停用 |
| DigiCert | DigiCert | 安全检测 | 未知 | — | 无视 | 停用 |
| Hardenize | Hardenize | 安全检测 | 未知 | — | 无视 | 停用 |
| KrawlerBot | KrawlerBot | 安全检测 | 未知 | — | 无视 | 停用 |
| Netcraft | Netcraft | 安全检测 | 未知 | — | 无视 | 停用 |
| Software-Security-Research | Software-Security-Research | 安全检测 | 未知 | — | 无视 | 停用 |