收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| chkme | chkme | 未分类 | — | — | 无视 | 停用 |
| Demon | Demon | 未分类 | — | — | 无视 | 停用 |
| Devil | Devil | 未分类 | — | — | 无视 | 停用 |
| Excel | Excel | 未分类 | — | — | 无视 | 停用 |
| Fimap | Fimap | 未分类 | — | — | 无视 | 停用 |
| Flock | Flock | 未分类 | — | — | 无视 | 停用 |
| Gotit | Gotit | 未分类 | — | — | 无视 | 停用 |
| gSOAP | gSOAP | 未分类 | — | — | 无视 | 停用 |
| Havij | Havij | 未分类 | — | — | 无视 | 停用 |
| htdig | htdig | 未分类 | — | — | 无视 | 停用 |
| Iblog | Iblog | 未分类 | — | — | 无视 | 停用 |
| Jaunt | Jaunt | 未分类 | — | — | 无视 | 停用 |
| Kelny | Kelny | 未分类 | — | — | 无视 | 停用 |
| khttp | khttp | 未分类 | — | — | 无视 | 停用 |
| kouio | kouio | 未分类 | — | — | 无视 | 停用 |
| Likse | Likse | 未分类 | — | — | 无视 | 停用 |
| Monit | Monit | 未分类 | — | — | 无视 | 停用 |
| nyawc | nyawc | 未分类 | — | — | 无视 | 停用 |
| ow.ly | ow.ly | 未分类 | — | — | 无视 | 停用 |
| Pavuk | Pavuk | 未分类 | — | — | 无视 | 停用 |
| ReGet | ReGet | 未分类 | — | — | 无视 | 停用 |
| Siege | Siege | 未分类 | — | — | 无视 | 停用 |
| Slack | Slack | 未分类 | — | — | 无视 | 停用 |
| Snake | Snake | 未分类 | — | — | 无视 | 停用 |
| SPEng | SPEng | 未分类 | — | — | 无视 | 停用 |
| Toata | Toata | 未分类 | — | — | 无视 | 停用 |
| Twice | Twice | 未分类 | — | — | 无视 | 停用 |
| vBSEO | vBSEO | 未分类 | — | — | 无视 | 停用 |
| Wfuzz | Wfuzz | 未分类 | — | — | 无视 | 停用 |
| Yo-yo | Yo-yo | 未分类 | — | — | 无视 | 停用 |