收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| mobilesl bot | mobilesl bot | 未分类 | — | — | 无视 | 停用 |
| ChimeUnfurlAgent | ChimeUnfurlAgent | 未分类 | — | — | 无视 | 停用 |
| Test Certificate Info | Test Certificate Info | 未分类 | — | — | 无视 | 停用 |
| Chrome Privacy Preserving Prefetch Proxy | Chrome Privacy Preserving Prefetch Proxy | 未分类 | — | — | 无视 | 停用 |
| TermlyBot | TermlyBot | 未分类 | — | — | 无视 | 停用 |
| Usercentrics | Usercentrics | 未分类 | — | — | 无视 | 停用 |
| CookieInformationScanner | CookieInformationScanner | 未分类 | — | — | 无视 | 停用 |
| PoliteCrawl | PoliteCrawl | 未分类 | — | — | 无视 | 停用 |
| dcrawl | dcrawl | 未分类 | — | — | 无视 | 停用 |
| Critical Path CSS Generator | Critical Path CSS Generator | 未分类 | — | — | 无视 | 停用 |
| Hello World | Hello World | 未分类 | — | — | 无视 | 停用 |
| ALittle Client | ALittle Client | 未分类 | — | — | 无视 | 停用 |
| Implcit:AdsTxt-Scrapr | Implcit:AdsTxt-Scrapr | 未分类 | — | — | 无视 | 停用 |
| TinyTestBoty | TinyTestBoty | 未分类 | — | — | 无视 | 停用 |
| chamaeleon bot | chamaeleon bot | 未分类 | — | — | 无视 | 停用 |
| Tenable crawler | Tenable crawler | 未分类 | — | — | 无视 | 停用 |
| bl.uk bot | bl.uk bot | 未分类 | — | — | 无视 | 停用 |
| Ant.com bot | Ant.com bot | 未分类 | — | — | 无视 | 停用 |
| lolbot | lolbot | 未分类 | — | — | 无视 | 停用 |
| Odin | Odin | 未分类 | — | — | 无视 | 停用 |
| line-poker | line-poker | 未分类 | — | — | 无视 | 停用 |
| WorksOgCrawler | WorksOgCrawler | 未分类 | — | — | 无视 | 停用 |
| Swisscows Crawler | Swisscows Crawler | 未分类 | — | — | 无视 | 停用 |
| security-research.org Crawler | security-research.org Crawler | 未分类 | — | — | 无视 | 停用 |
| sider.ai bot | sider.ai bot | 未分类 | — | — | 无视 | 停用 |
| Dawap bot | Dawap bot | 未分类 | — | — | 无视 | 停用 |
| UCSB bot | UCSB bot | 未分类 | — | — | 无视 | 停用 |
| Autoconfig Test from USTC | Autoconfig Test from USTC | 未分类 | — | — | 无视 | 停用 |
| Kukei.eu-Bot/0.2 | Kukei.eu-Bot/0.2 | 未分类 | — | — | 无视 | 停用 |
| trentwiles bot | trentwiles bot | 未分类 | — | — | 无视 | 停用 |