收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Xandr crawler | Xandr crawler | 未分类 | — | — | 无视 | 停用 |
| uMBot-LN | uMBot-LN | 未分类 | — | — | 无视 | 停用 |
| um-CC | um-CC | 未分类 | — | — | 无视 | 停用 |
| TenorBot | TenorBot | 未分类 | — | — | 无视 | 停用 |
| ImgurBot | ImgurBot | 未分类 | — | — | 无视 | 停用 |
| GiphyBot | GiphyBot | 未分类 | — | — | 无视 | 停用 |
| Ezgifbot | Ezgifbot | 未分类 | — | — | 无视 | 停用 |
| OpenAlexBot | OpenAlexBot | 未分类 | — | — | 无视 | 停用 |
| COREbot | COREbot | 未分类 | — | — | 无视 | 停用 |
| MicrosoftAcademicBot | MicrosoftAcademicBot | 未分类 | — | — | 无视 | 停用 |
| LDC-Crawler | LDC-Crawler | 未分类 | — | — | 无视 | 停用 |
| ELRA-Crawler | ELRA-Crawler | 未分类 | — | — | 无视 | 停用 |
| DARIAH-Crawler | DARIAH-Crawler | 未分类 | — | — | 无视 | 停用 |
| arXivBot | arXivBot | 未分类 | — | — | 无视 | 停用 |
| PMCBot | PMCBot | 未分类 | — | — | 无视 | 停用 |
| OAI-PMH-Harvester | OAI-PMH-Harvester | 未分类 | — | — | 无视 | 停用 |
| DataCiteHarvester | DataCiteHarvester | 未分类 | — | — | 无视 | 停用 |
| Pycrawler | Pycrawler | 未分类 | — | — | 无视 | 停用 |
| Cloudflare-Healthcheck | Cloudflare-Healthcheck | 未分类 | — | — | 无视 | 停用 |
| Akamai-Edge-Crawler | Akamai-Edge-Crawler | 未分类 | — | — | 无视 | 停用 |
| AliyunTaiShiGanZhi | AliyunTaiShiGanZhi | 未分类 | — | — | 无视 | 停用 |
| AliyunWAF | AliyunWAF | 未分类 | — | — | 无视 | 停用 |
| AliyunSecurity | AliyunSecurity | 未分类 | — | — | 无视 | 停用 |
| AliyunCDN | AliyunCDN | 未分类 | — | — | 无视 | 停用 |
| AlibabaEdge | AlibabaEdge | 未分类 | — | — | 无视 | 停用 |
| AliyunESA | AliyunESA | 未分类 | — | — | 无视 | 停用 |
| Akamai_Site_Analyzer | Akamai_Site_Analyzer | 未分类 | — | — | 无视 | 停用 |
| Akamai-Bot-Manager-Verification | Akamai-Bot-Manager-Verification | 未分类 | — | — | 无视 | 停用 |
| Akamai-Health-Checker | Akamai-Health-Checker | 未分类 | — | — | 无视 | 停用 |
| Akamai-SEO-Verifier | Akamai-SEO-Verifier | 未分类 | — | — | 无视 | 停用 |