收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Qualys | Qualys | 网站监测 | 未知 | — | 无视 | 停用 |
| Quora-Bot | Quora-Bot | 链接预览 | 未知 | — | 无视 | 停用 |
| Qwarrybot | Qwarrybot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| RSiteAuditor | RSiteAuditor | SEO分析 | 未知 | — | 无视 | 停用 |
| RSS | RSS | 内容预览 | 未知 | — | 无视 | 停用 |
| Salesforce | Salesforce | 通用工具 | 未知 | — | 无视 | 停用 |
| Scope3 | Scope3 | 服务爬虫 | 未知 | — | 无视 | 停用 |
| scraping@nytimes | scraping@nytimes | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Scrubby | Scrubby | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Scrunchbot | Scrunchbot | 网站监测 | 未知 | — | 无视 | 停用 |
| seo4ajax | seo4ajax | SEO分析 | 未知 | — | 无视 | 停用 |
| SequelWP | SequelWP | 网站监测 | 未知 | — | 无视 | 停用 |
| ServerDensity | ServerDensity | 网站监测 | 未知 | — | 无视 | 停用 |
| ShortPixel | ShortPixel | 内容预览 | 未知 | — | 无视 | 停用 |
| Silktide | Silktide | 网站监测 | 未知 | — | 无视 | 停用 |
| SiteLock | SiteLock | 网站监测 | 未知 | — | 无视 | 停用 |
| SmarshBot | SmarshBot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| SMTnetPMBot | SMTnetPMBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Software-Security-Research | Software-Security-Research | 安全检测 | 未知 | — | 无视 | 停用 |
| SottopopNone | SottopopNone | 内容预览 | 未知 | — | 无视 | 停用 |
| Splunk | Splunk | 网站监测 | 未知 | — | 无视 | 停用 |
| StatusNestBacklinkSpider | StatusNestBacklinkSpider | SEO分析 | 未知 | — | 无视 | 停用 |
| stepstoneCrawlBot | stepstoneCrawlBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| ThousandEyes | ThousandEyes | 网站监测 | 未知 | — | 无视 | 停用 |
| uipbot | uipbot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| um-FC | um-FC | 服务爬虫 | 未知 | — | 无视 | 停用 |
| um-IC | um-IC | 服务爬虫 | 未知 | — | 无视 | 停用 |
| UptimeStatistics | UptimeStatistics | 网站监测 | 未知 | — | 无视 | 停用 |
| Verispider | Verispider | 安全检测 | 未知 | — | 无视 | 停用 |
| visionheight | visionheight | 安全检测 | 未知 | — | 无视 | 停用 |