收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| PriEcoBot | PriEcoBot | SEO分析 | 未知 | — | 无视 | 停用 |
| PrintFriendly | PrintFriendly | SEO分析 | 未知 | — | 无视 | 停用 |
| Pro-Sitemaps | Pro-Sitemaps | SEO分析 | 未知 | — | 无视 | 停用 |
| PS_Daily | PS_Daily | SEO分析 | 未知 | — | 无视 | 停用 |
| PWABuilderHttpAgent | PWABuilderHttpAgent | SEO分析 | 未知 | — | 无视 | 停用 |
| rakutenusabot-image | rakutenusabot-image | SEO分析 | 未知 | — | 无视 | 停用 |
| RankurBot | RankurBot | SEO分析 | 未知 | — | 无视 | 停用 |
| RavenCrawler | RavenCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| Readable | Readable | SEO分析 | 未知 | — | 无视 | 停用 |
| Recurly | Recurly | SEO分析 | 未知 | — | 无视 | 停用 |
| Reelevant | Reelevant | SEO分析 | 未知 | — | 无视 | 停用 |
| remove | remove | SEO分析 | 未知 | — | 无视 | 停用 |
| Retool | Retool | SEO分析 | 未知 | — | 无视 | 停用 |
| RetroListeCOM | RetroListeCOM | SEO分析 | 未知 | — | 无视 | 停用 |
| RevvimGort | RevvimGort | SEO分析 | 未知 | — | 无视 | 停用 |
| reward-gateway | reward-gateway | SEO分析 | 未知 | — | 无视 | 停用 |
| RobotsChecker | RobotsChecker | SEO分析 | 未知 | — | 无视 | 停用 |
| s4a-probe-bot | s4a-probe-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| SFDC-Callout | SFDC-Callout | SEO分析 | 未知 | — | 无视 | 停用 |
| page-preview-tool | page-preview-tool | SEO分析 | 未知 | — | 无视 | 停用 |
| SandobaCrawler | SandobaCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| GIFTEDVISITOR | GIFTEDVISITOR | SEO分析 | 未知 | — | 无视 | 停用 |
| Schema-Markup-Validator | Schema-Markup-Validator | SEO分析 | 未知 | — | 无视 | 停用 |
| Scoop | Scoop | SEO分析 | 未知 | — | 无视 | 停用 |
| ScrapeheroBot | ScrapeheroBot | SEO分析 | 未知 | — | 无视 | 停用 |
| screeenly-bot | screeenly-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| SEBot-WA | SEBot-WA | SEO分析 | 未知 | — | 无视 | 停用 |
| semaltbot | semaltbot | SEO分析 | 未知 | — | 无视 | 停用 |
| SendGrid | SendGrid | SEO分析 | 未知 | — | 无视 | 停用 |
| seo-audit-check-bot | seo-audit-check-bot | SEO分析 | 未知 | — | 无视 | 停用 |