收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| GoZilla | GoZilla | 未分类 | — | — | 无视 | 停用 |
| GrabNet | GrabNet | 未分类 | — | — | 无视 | 停用 |
| Grafula | Grafula | 未分类 | — | — | 无视 | 停用 |
| GrapeFX | GrapeFX | 未分类 | — | — | 无视 | 停用 |
| grokkit | grokkit | 未分类 | — | — | 无视 | 停用 |
| GT::WWW | GT::WWW | 未分类 | — | — | 无视 | 停用 |
| hackney | hackney | 未分类 | — | — | 无视 | 停用 |
| Hloader | Hloader | 未分类 | — | — | 无视 | 停用 |
| HTTPMon | HTTPMon | 未分类 | — | — | 无视 | 停用 |
| http.rb | http.rb | 未分类 | — | — | 无视 | 停用 |
| InAGist | InAGist | 未分类 | — | — | 无视 | 停用 |
| InetURL | InetURL | 未分类 | — | — | 无视 | 停用 |
| iplabel | iplabel | 未分类 | — | — | 无视 | 停用 |
| kubectl | kubectl | 未分类 | — | — | 无视 | 停用 |
| Liferea | Liferea | 未分类 | — | — | 无视 | 停用 |
| Mag-Net | Mag-Net | 未分类 | — | — | 无视 | 停用 |
| Mailpit | Mailpit | 未分类 | — | — | 无视 | 停用 |
| Mindjet | Mindjet | 未分类 | — | — | 无视 | 停用 |
| Navroad | Navroad | 未分类 | — | — | 无视 | 停用 |
| NetAnts | NetAnts | 未分类 | — | — | 无视 | 停用 |
| nghttp2 | nghttp2 | 未分类 | — | — | 无视 | 停用 |
| Nibbler | Nibbler | 未分类 | — | — | 无视 | 停用 |
| node.io | node.io | 未分类 | — | — | 无视 | 停用 |
| Octopus | Octopus | 未分类 | — | — | 无视 | 停用 |
| Perlu - | Perlu - | 未分类 | — | — | 无视 | 停用 |
| Pizilla | Pizilla | 未分类 | — | — | 无视 | 停用 |
| Plagger | Plagger | 未分类 | — | — | 无视 | 停用 |
| Pleroma | Pleroma | 未分类 | — | — | 无视 | 停用 |
| postano | postano | 未分类 | — | — | 无视 | 停用 |
| probely | probely | 未分类 | — | — | 无视 | 停用 |