收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| BitSightBot | BitSight | 安全检测 | 低(每月1次) | 浅(测试页面+API接口+性能数据) | 遵守 | 活跃 |
| AliyunSecBot | 阿里云安全 | 安全检测 | 低(每月1次) | 浅(测试页面+API接口+性能数据) | 遵守 | 活跃 |
| Netcraft SSL Server Survey | Netcraft扫描 | 安全检测 | 低,按月度周期批量探测 | 1 层(仅目标端口 / 证书) | 遵守 | 活跃 |
| SucuriBot | Sucuri(GoDaddy) | 安全检测 | 中(每日) | 定向 | 遵守 | 活跃 |
| Nessus | Tenable nessus | 安全检测 | 按需(扫描触发) | 深(端口+服务) | 无视 | 活跃 |
| Nikto | CIRT.net | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| sqlmap | sqlmap | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| Nmap Scripting Engine | Nmap Scripting Engine | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| zgrab | Censys/斯坦福 | 安全检测 | 中(研究扫描) | 定向 | 无视 | 活跃 |
| masscan | masscan | 安全检测 | 按需 | 定向(端口) | 无视 | 活跃 |
| WPScan | WPScan团队 | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| Arachni | Arachni | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| w3af | w3af | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| Kangaroo Bot | Kangaroo Bot | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| Acunetix | Invicti | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| OpenVAS | Greenbone | 安全检测 | 按需 | 深(端口+服务) | 无视 | 活跃 |
| CensysInspect | CensysInspect | 安全检测 | 中(持续测量) | 定向 | 遵守 | 活跃 |
| Shodan | Shodan | 安全检测 | 中(持续测量) | 定向(服务横幅) | 遵守 | 活跃 |
| AliyunSecScanner | 阿里云 | 安全检测 | 按需(触发扫描时) | 定向(漏洞探测) | 无视 | 活跃 |
| antibot | antibot | 安全检测 | 未知 | — | 无视 | 停用 |
| CyberPatrol | CyberPatrol | 安全检测 | 未知 | — | 无视 | 停用 |
| ec2linkfinder | ec2linkfinder | 安全检测 | 未知 | — | 无视 | 停用 |
| ip-web-crawler | ip-web-crawler | 安全检测 | 未知 | — | 无视 | 停用 |
| binlar | binlar | 安全检测 | 未知 | — | 无视 | 停用 |
| ltx71 | ltx71 | 安全检测 | 未知 | — | 无视 | 停用 |
| SafeDNSBot | SafeDNSBot | 安全检测 | 未知 | — | 无视 | 停用 |
| Jugendschutzprogramm-Crawler | Jugendschutzprogramm-Crawler | 安全检测 | 未知 | — | 无视 | 停用 |
| filterdb | filterdb | 安全检测 | 未知 | — | 无视 | 停用 |
| SBL-BOT | SBL-BOT | 安全检测 | 未知 | — | 无视 | 停用 |
| K7MLWCBot | K7MLWCBot | 安全检测 | 未知 | — | 无视 | 停用 |