收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| IEEE | IEEE | 未分类 | — | — | 无视 | 停用 |
| Wikipedia | Wikipedia | 未分类 | — | — | 无视 | 停用 |
| Baidu-Baike | Baidu-Baike | 未分类 | — | — | 无视 | 停用 |
| Zhihu-Zhuanlan | Zhihu-Zhuanlan | 未分类 | — | — | 无视 | 停用 |
| XueXi | XueXi | 未分类 | — | — | 无视 | 停用 |
| Tencent-Class | Tencent-Class | 未分类 | — | — | 无视 | 停用 |
| NetEase-OpenCourse | NetEase-OpenCourse | 未分类 | — | — | 无视 | 停用 |
| XuetangX | XuetangX | 未分类 | — | — | 无视 | 停用 |
| Coursera | Coursera | 未分类 | — | — | 无视 | 停用 |
| edX | edX | 未分类 | — | — | 无视 | 停用 |
| KhanAcademy | KhanAcademy | 未分类 | — | — | 无视 | 停用 |
| Duolingo | Duolingo | 未分类 | — | — | 无视 | 停用 |
| iFlytek | iFlytek | 未分类 | — | — | 无视 | 停用 |
| Zuoyebang | Zuoyebang | 未分类 | — | — | 无视 | 停用 |
| Yuanfudao | Yuanfudao | 未分类 | — | — | 无视 | 停用 |
| Zhixue | Zhixue | 未分类 | — | — | 无视 | 停用 |
| PekEdu | PekEdu | 未分类 | — | — | 无视 | 停用 |
| TsinghuaEdu | TsinghuaEdu | 未分类 | — | — | 无视 | 停用 |
| InstagramBot | InstagramBot | 未分类 | — | — | 无视 | 停用 |
| arXiv | arXiv | 未分类 | — | — | 无视 | 停用 |
| PubMed | PubMed | 未分类 | — | — | 无视 | 停用 |
| Web-Of-Science | Web-Of-Science | 未分类 | — | — | 无视 | 停用 |
| Scopus | Scopus | 未分类 | — | — | 无视 | 停用 |
| JSTOR | JSTOR | 未分类 | — | — | 无视 | 停用 |
| Nature | Nature | 未分类 | — | — | 无视 | 停用 |
| Science | Science | 未分类 | — | — | 无视 | 停用 |
| Wiley | Wiley | 未分类 | — | — | 无视 | 停用 |
| Taylor-Francis | Taylor-Francis | 未分类 | — | — | 无视 | 停用 |
| Cambridge-Core | Cambridge-Core | 未分类 | — | — | 无视 | 停用 |
| Oxford-Academic | Oxford-Academic | 未分类 | — | — | 无视 | 停用 |