收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Sage-Journals | Sage-Journals | 未分类 | — | — | 无视 | 停用 |
| PLOS | PLOS | 未分类 | — | — | 无视 | 停用 |
| eLife | eLife | 未分类 | — | — | 无视 | 停用 |
| PeerJ | PeerJ | 未分类 | — | — | 无视 | 停用 |
| Frontiers | Frontiers | 未分类 | — | — | 无视 | 停用 |
| MDPI | MDPI | 未分类 | — | — | 无视 | 停用 |
| Hindawi | Hindawi | 未分类 | — | — | 无视 | 停用 |
| CrossRef | CrossRef | 未分类 | — | — | 无视 | 停用 |
| ORCID | ORCID | 未分类 | — | — | 无视 | 停用 |
| Academia | Academia | 未分类 | — | — | 无视 | 停用 |
| Microsoft-Academic | Microsoft-Academic | 未分类 | — | — | 无视 | 停用 |
| GoogleMaps | GoogleMaps | 未分类 | — | — | 无视 | 停用 |
| Google-Maps-Embed | Google-Maps-Embed | 未分类 | — | — | 无视 | 停用 |
| BingMaps | BingMaps | 未分类 | — | — | 无视 | 停用 |
| OpenStreetMap | OpenStreetMap | 未分类 | — | — | 无视 | 停用 |
| OpenStreetMap-bot | OpenStreetMap-bot | 未分类 | — | — | 无视 | 停用 |
| BaiduMaps | BaiduMaps | 未分类 | — | — | 无视 | 停用 |
| Amap | Amap | 未分类 | — | — | 无视 | 停用 |
| TencentMaps | TencentMaps | 未分类 | — | — | 无视 | 停用 |
| MapQuest | MapQuest | 未分类 | — | — | 无视 | 停用 |
| HereMaps | HereMaps | 未分类 | — | — | 无视 | 停用 |
| TomTom | TomTom | 未分类 | — | — | 无视 | 停用 |
| GeoNames | GeoNames | 未分类 | — | — | 无视 | 停用 |
| MaxMind | MaxMind | 未分类 | — | — | 无视 | 停用 |
| IP2Location | IP2Location | 未分类 | — | — | 无视 | 停用 |
| IP-Geolocation | IP-Geolocation | 未分类 | — | — | 无视 | 停用 |
| GeoIP | GeoIP | 未分类 | — | — | 无视 | 停用 |
| Leaflet | Leaflet | 未分类 | — | — | 无视 | 停用 |
| Mapbox | Mapbox | 未分类 | — | — | 无视 | 停用 |
| Wikimapia | Wikimapia | 未分类 | — | — | 无视 | 停用 |