收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| LinkedInBot-Image | LinkedInBot-Image | 未分类 | — | — | 无视 | 停用 |
| LinkedInBot-Video | LinkedInBot-Video | 未分类 | — | — | 无视 | 停用 |
| NYTimes-Bot | NYTimes-Bot | 未分类 | — | — | 无视 | 停用 |
| WashingtonPost-Bot | WashingtonPost-Bot | 未分类 | — | — | 无视 | 停用 |
| WSJ-Bot | WSJ-Bot | 未分类 | — | — | 无视 | 停用 |
| USAToday-Bot | USAToday-Bot | 未分类 | — | — | 无视 | 停用 |
| LATimes-Bot | LATimes-Bot | 未分类 | — | — | 无视 | 停用 |
| ChicagoTribune-Bot | ChicagoTribune-Bot | 未分类 | — | — | 无视 | 停用 |
| ABCNews-Bot | ABCNews-Bot | 未分类 | — | — | 无视 | 停用 |
| CBSNews-Bot | CBSNews-Bot | 未分类 | — | — | 无视 | 停用 |
| NBCNews-Bot | NBCNews-Bot | 未分类 | — | — | 无视 | 停用 |
| FoxNews-Bot | FoxNews-Bot | 未分类 | — | — | 无视 | 停用 |
| CNN-Bot | CNN-Bot | 未分类 | — | — | 无视 | 停用 |
| MSNBC-Bot | MSNBC-Bot | 未分类 | — | — | 无视 | 停用 |
| PBS-Bot | PBS-Bot | 未分类 | — | — | 无视 | 停用 |
| NPR-Bot | NPR-Bot | 未分类 | — | — | 无视 | 停用 |
| NSDL-Bot | NSDL-Bot | 未分类 | — | — | 无视 | 停用 |
| DPLA-Bot | DPLA-Bot | 未分类 | — | — | 无视 | 停用 |
| JSTOR-Bot | JSTOR-Bot | 未分类 | — | — | 无视 | 停用 |
| ProQuest-Bot | ProQuest-Bot | 未分类 | — | — | 无视 | 停用 |
| EBSCO-Bot | EBSCO-Bot | 未分类 | — | — | 无视 | 停用 |
| Gale-Bot | Gale-Bot | 未分类 | — | — | 无视 | 停用 |
| LexisNexis-Bot | LexisNexis-Bot | 未分类 | — | — | 无视 | 停用 |
| Westlaw-Bot | Westlaw-Bot | 未分类 | — | — | 无视 | 停用 |
| WaybackMachineBot | WaybackMachineBot | 未分类 | — | — | 无视 | 停用 |
| CAE-Bot | CAE-Bot | 未分类 | — | — | 无视 | 停用 |
| CAC-Bot | CAC-Bot | 未分类 | — | — | 无视 | 停用 |
| MIIT-Bot | MIIT-Bot | 未分类 | — | — | 无视 | 停用 |
| MOE-Bot | MOE-Bot | 未分类 | — | — | 无视 | 停用 |
| MOST-Bot | MOST-Bot | 未分类 | — | — | 无视 | 停用 |