收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Soso.vn Bot | Soso.vn Bot | 未分类 | — | — | 无视 | 停用 |
| RediffBot | RediffBot | 未分类 | — | — | 无视 | 停用 |
| FlipkartBot | FlipkartBot | 未分类 | — | — | 无视 | 停用 |
| GrabBot | GrabBot | 未分类 | — | — | 无视 | 停用 |
| TokopediaBot | TokopediaBot | 未分类 | — | — | 无视 | 停用 |
| SeznamSlovakBot | SeznamSlovakBot | 未分类 | — | — | 无视 | 停用 |
| Le Duck Duck Go Bot | Le Duck Duck Go Bot | 未分类 | — | — | 无视 | 停用 |
| IxquickBot | IxquickBot | 未分类 | — | — | 无视 | 停用 |
| SearXBot | SearXBot | 未分类 | — | — | 无视 | 停用 |
| EcosiaBot | EcosiaBot | 搜索引擎 | — | — | 遵守 | 停用 |
| SwisscrawlBot | SwisscrawlBot | 未分类 | — | — | 无视 | 停用 |
| MdundoBot | MdundoBot | 未分类 | — | — | 无视 | 停用 |
| JumiaBot | JumiaBot | 未分类 | — | — | 无视 | 停用 |
| KongaBot | KongaBot | 未分类 | — | — | 无视 | 停用 |
| TakealotBot | TakealotBot | 未分类 | — | — | 无视 | 停用 |
| NaspersBot | NaspersBot | 未分类 | — | — | 无视 | 停用 |
| AfriNICBot | AfriNICBot | 未分类 | — | — | 无视 | 停用 |
| SafaricomBot | SafaricomBot | 未分类 | — | — | 无视 | 停用 |
| UolBot | UolBot | 未分类 | — | — | 无视 | 停用 |
| GloboBot | GloboBot | 未分类 | — | — | 无视 | 停用 |
| MercadoLibreBot | MercadoLibreBot | 未分类 | — | — | 无视 | 停用 |
| ClaroBot | ClaroBot | 未分类 | — | — | 无视 | 停用 |
| TelcelBot | TelcelBot | 未分类 | — | — | 无视 | 停用 |
| LatAmBot | LatAmBot | 未分类 | — | — | 无视 | 停用 |
| Canadabot | Canadabot | 未分类 | — | — | 无视 | 停用 |
| sitechecker | sitechecker | 未分类 | — | — | 无视 | 停用 |
| powermapper | powermapper | 未分类 | — | — | 无视 | 停用 |
| letsencrypt | letsencrypt | 未分类 | — | — | 无视 | 停用 |
| lightspeedsystems | lightspeedsystems | 未分类 | — | — | 无视 | 停用 |
| pr-cy.ru | pr-cy.ru | 未分类 | — | — | 无视 | 停用 |