收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Seeker | Seeker | 未分类 | — | — | 无视 | 停用 |
| ExpertSearchSpider | ExpertSearchSpider | 未分类 | — | — | 无视 | 停用 |
| WebTechSurvey bot | WebTechSurvey bot | 未分类 | — | — | 无视 | 停用 |
| OhDear crawler | OhDear crawler | 未分类 | — | — | 无视 | 停用 |
| LetsearchBot | LetsearchBot | 未分类 | — | — | 无视 | 停用 |
| dlvr.it | dlvr.it | 未分类 | — | — | 无视 | 停用 |
| AlphaSeoBot | AlphaSeoBot | 未分类 | — | — | 无视 | 停用 |
| Cydral bot | Cydral bot | 未分类 | — | — | 无视 | 停用 |
| statista.com crawler | statista.com crawler | 未分类 | — | — | 无视 | 停用 |
| Sistrix crawler | Sistrix crawler | 未分类 | — | — | 无视 | 停用 |
| MAZBot | MAZBot | 未分类 | — | — | 无视 | 停用 |
| Web Crawler | Web Crawler | 未分类 | — | — | 无视 | 停用 |
| DocBase Crawler | DocBase Crawler | 未分类 | — | — | 无视 | 停用 |
| BorneoBot | BorneoBot | 未分类 | — | — | 无视 | 停用 |
| dark_NeXus_Qbot | dark_NeXus_Qbot | 未分类 | — | — | 无视 | 停用 |
| Onespot crawler | Onespot crawler | 未分类 | — | — | 无视 | 停用 |
| Traackr.com | Traackr.com | 未分类 | — | — | 无视 | 停用 |
| Faveeo | Faveeo | 未分类 | — | — | 无视 | 停用 |
| Alendo Bot | Alendo Bot | 未分类 | — | — | 无视 | 停用 |
| Infosecbot | Infosecbot | 未分类 | — | — | 无视 | 停用 |
| Premsgo.fr bot | Premsgo.fr bot | 未分类 | — | — | 无视 | 停用 |
| Freshworks bot | Freshworks bot | 未分类 | — | — | 无视 | 停用 |
| StatOnlineRuBot | StatOnlineRuBot | 未分类 | — | — | 无视 | 停用 |
| SemtixBot | SemtixBot | 未分类 | — | — | 无视 | 停用 |
| library.unt.edu bot | library.unt.edu bot | 未分类 | — | — | 无视 | 停用 |
| Openstat | Openstat | 未分类 | — | — | 无视 | 停用 |
| IAS crawler | IAS crawler | 未分类 | — | — | 无视 | 停用 |
| niocBot | niocBot | 未分类 | — | — | 无视 | 停用 |
| SnapSearch | SnapSearch | 未分类 | — | — | 无视 | 停用 |
| BigInfoLabs crawler | BigInfoLabs crawler | 未分类 | — | — | 无视 | 停用 |