收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| TelegramBot | Telegram | 链接预览 | 按需(消息触发) | 定向 | 遵守 | 活跃 |
| 链接预览 | 按需(分享触发) | 定向 | 遵守 | 活跃 | ||
| SkypeUriPreview | SkypeUriPreview | 链接预览 | 按需 | 定向 | 遵守 | 活跃 |
| Pinterestbot | Pinterestbot | 链接预览 | 中 | 定向(图片) | 遵守 | 活跃 |
| vkShare | VK | 链接预览 | 按需 | 定向 | 遵守 | 活跃 |
| embedly | Embedly | 链接预览 | 按需(API调用) | 定向 | 遵守 | 活跃 |
| Iframely | Iframely | 链接预览 | 按需(API调用) | 定向 | 遵守 | 活跃 |
| Microlink | Microlink | 链接预览 | 按需(API调用) | 定向 | 遵守 | 活跃 |
| PaperLiBot | Paper.li | 内容预览 | 中(订阅周期) | 定向(RSS) | 遵守 | 活跃 |
| Feedly | Feedly | 内容预览 | 中(订阅周期) | 定向(RSS) | 遵守 | 活跃 |
| SucuriBot | Sucuri(GoDaddy) | 安全检测 | 中(每日) | 定向 | 遵守 | 活跃 |
| Nessus | Tenable nessus | 安全检测 | 按需(扫描触发) | 深(端口+服务) | 无视 | 活跃 |
| Nikto | CIRT.net | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| sqlmap | sqlmap | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| Nmap Scripting Engine | Nmap Scripting Engine | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| zgrab | Censys/斯坦福 | 安全检测 | 中(研究扫描) | 定向 | 无视 | 活跃 |
| masscan | masscan | 安全检测 | 按需 | 定向(端口) | 无视 | 活跃 |
| WPScan | WPScan团队 | 安全检测 | 按需 | 定向 | 无视 | 活跃 |
| Jbrofuzz | OWASP | 测试工具 | 按需 | 定向 | 无视 | 活跃 |
| Arachni | Arachni | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| w3af | w3af | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| Kangaroo Bot | Kangaroo Bot | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| Acunetix | Invicti | 安全检测 | 按需 | 深 | 无视 | 活跃 |
| OpenVAS | Greenbone | 安全检测 | 按需 | 深(端口+服务) | 无视 | 活跃 |
| CensysInspect | CensysInspect | 安全检测 | 中(持续测量) | 定向 | 遵守 | 活跃 |
| Shodan | Shodan | 安全检测 | 中(持续测量) | 定向(服务横幅) | 遵守 | 活跃 |
| UptimeRobot | UptimeRobot | 网站监测 | 高(1-5分钟/次) | 定向(首页/监测点) | 遵守 | 活跃 |
| Pingdom | Pingdom | 网站监测 | 高(1-5分钟/次) | 定向 | 遵守 | 活跃 |
| StatusCake Monitor | StatusCake Monitor | 网站监测 | 高(1-5分钟/次) | 定向 | 遵守 | 活跃 |
| Site24x7 Synthetic Bot | ManageEngine | 网站监测 | 高(1-30分钟/次) | 定向 | 遵守 | 活跃 |