收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| SparkPost | SparkPost | SEO分析 | 未知 | — | 无视 | 停用 |
| Spawning-AI | Spawning-AI | AI数据 | 未知 | — | 无视 | 停用 |
| IDG | IDG | SEO分析 | 未知 | — | 无视 | 停用 |
| Specificfeeds | Specificfeeds | 内容预览 | 未知 | — | 无视 | 停用 |
| Spectate | Spectate | 网站监测 | 未知 | — | 无视 | 停用 |
| SpiderLing | SpiderLing | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| splash | splash | 测试工具 | 未知 | — | 无视 | 停用 |
| Rigor | Rigor | 网站监测 | 未知 | — | 无视 | 停用 |
| TwinWaveScanner | TwinWaveScanner | 安全检测 | 未知 | — | 无视 | 停用 |
| SSL | SSL | 安全检测 | 未知 | — | 无视 | 停用 |
| SSSSBot | SSSSBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Stape | Stape | SEO分析 | 未知 | — | 无视 | 停用 |
| StartpagePrivateImageProxy | StartpagePrivateImageProxy | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Statabot | Statabot | SEO分析 | 未知 | — | 无视 | 停用 |
| StatistikAustria | StatistikAustria | SEO分析 | 未知 | — | 无视 | 停用 |
| StatsDroneBot | StatsDroneBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Stripe | Stripe | SEO分析 | 未知 | — | 无视 | 停用 |
| Sucuri | Sucuri | 安全检测 | 未知 | — | 无视 | 停用 |
| Svix-Webhooks | Svix-Webhooks | SEO分析 | 未知 | — | 无视 | 停用 |
| SwifteqLinkChecker | SwifteqLinkChecker | SEO分析 | 未知 | — | 无视 | 停用 |
| Swisscows | Swisscows | 搜索引擎 | 未知 | — | 无视 | 停用 |
| TactiScout | TactiScout | SEO分析 | 未知 | — | 无视 | 停用 |
| tchelebi | tchelebi | SEO分析 | 未知 | — | 无视 | 停用 |
| bitdiscovery | bitdiscovery | 安全检测 | 未知 | — | 无视 | 停用 |
| Test | Test | 安全检测 | 未知 | — | 无视 | 停用 |
| Testcrawler | Testcrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| test-bot | test-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| TestLocally | TestLocally | 测试工具 | 未知 | — | 无视 | 停用 |
| TestURI | TestURI | SEO分析 | 未知 | — | 无视 | 停用 |
| TextRazor | TextRazor | SEO分析 | 未知 | — | 无视 | 停用 |