收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Retool | Retool | SEO分析 | 未知 | — | 无视 | 停用 |
| RetroListeCOM | RetroListeCOM | SEO分析 | 未知 | — | 无视 | 停用 |
| RevvimGort | RevvimGort | SEO分析 | 未知 | — | 无视 | 停用 |
| reward-gateway | reward-gateway | SEO分析 | 未知 | — | 无视 | 停用 |
| Riddler | Riddler | 安全检测 | 未知 | — | 无视 | 停用 |
| RobotsChecker | RobotsChecker | SEO分析 | 未知 | — | 无视 | 停用 |
| RSSAPI | RSSAPI | 内容预览 | 未知 | — | 无视 | 停用 |
| rss2tg | rss2tg | 内容预览 | 未知 | — | 无视 | 停用 |
| RssReaderBot | RssReaderBot | 内容预览 | 未知 | — | 无视 | 停用 |
| s4a-probe-bot | s4a-probe-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| SFDC-Callout | SFDC-Callout | SEO分析 | 未知 | — | 无视 | 停用 |
| page-preview-tool | page-preview-tool | SEO分析 | 未知 | — | 无视 | 停用 |
| SandobaCrawler | SandobaCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| Sansec | Sansec | 安全检测 | 未知 | — | 无视 | 停用 |
| GIFTEDVISITOR | GIFTEDVISITOR | SEO分析 | 未知 | — | 无视 | 停用 |
| Schema-Markup-Validator | Schema-Markup-Validator | SEO分析 | 未知 | — | 无视 | 停用 |
| Scoop | Scoop | SEO分析 | 未知 | — | 无视 | 停用 |
| ScourRSSBot | ScourRSSBot | 内容预览 | 未知 | — | 无视 | 停用 |
| ScrapeheroBot | ScrapeheroBot | SEO分析 | 未知 | — | 无视 | 停用 |
| screeenly-bot | screeenly-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| SEBot-WA | SEBot-WA | SEO分析 | 未知 | — | 无视 | 停用 |
| Searcherweb | Searcherweb | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Searcherxweb | Searcherxweb | 搜索引擎 | 未知 | — | 无视 | 停用 |
| SearchExpress | SearchExpress | 搜索引擎 | 未知 | — | 无视 | 停用 |
| SecurityHeaders | SecurityHeaders | 安全检测 | 未知 | — | 无视 | 停用 |
| semaltbot | semaltbot | SEO分析 | 未知 | — | 无视 | 停用 |
| SendGrid | SendGrid | SEO分析 | 未知 | — | 无视 | 停用 |
| SentryUptimeBot | SentryUptimeBot | 网站监测 | 未知 | — | 无视 | 停用 |
| seo-audit-check-bot | seo-audit-check-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| s4a | s4a | SEO分析 | 未知 | — | 无视 | 停用 |