收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Florienzh | Florienzh | 未分类 | — | — | 无视 | 停用 |
| go-mtasts | go-mtasts | 未分类 | — | — | 无视 | 停用 |
| GreatNews | GreatNews | 未分类 | — | — | 无视 | 停用 |
| Gregarius | Gregarius | 未分类 | — | — | 无视 | 停用 |
| GRequests | GRequests | 未分类 | — | — | 无视 | 停用 |
| HTTP-Tiny | HTTP-Tiny | 未分类 | — | — | 无视 | 停用 |
| Id-search | Id-search | 未分类 | — | — | 无视 | 停用 |
| ImageVisu | ImageVisu | 未分类 | — | — | 无视 | 停用 |
| Integrity | Integrity | 未分类 | — | — | 无视 | 停用 |
| Jobboerse | Jobboerse | 未分类 | — | — | 无视 | 停用 |
| Jobrapido | Jobrapido | 未分类 | — | — | 无视 | 停用 |
| limber.io | limber.io | 未分类 | — | — | 无视 | 停用 |
| linkCheck | linkCheck | 未分类 | — | — | 无视 | 停用 |
| Mail::STS | Mail::STS | 未分类 | — | — | 无视 | 停用 |
| MapperCmd | MapperCmd | 未分类 | — | — | 无视 | 停用 |
| MarkWatch | MarkWatch | 未分类 | — | — | 无视 | 停用 |
| Mata Hari | Mata Hari | 未分类 | — | — | 无视 | 停用 |
| mio_httpc | mio_httpc | 未分类 | — | — | 无视 | 停用 |
| MVAClient | MVAClient | 未分类 | — | — | 无视 | 停用 |
| NewsGator | NewsGator | 未分类 | — | — | 无视 | 停用 |
| NICErsPRO | NICErsPRO | 未分类 | — | — | 无视 | 停用 |
| NihilScio | NihilScio | 未分类 | — | — | 无视 | 停用 |
| Papa Foto | Papa Foto | 未分类 | — | — | 无视 | 停用 |
| pcBrowser | pcBrowser | 未分类 | — | — | 无视 | 停用 |
| PeoplePal | PeoplePal | 未分类 | — | — | 无视 | 停用 |
| Picsearch | Picsearch | 未分类 | — | — | 无视 | 停用 |
| Pimonster | Pimonster | 未分类 | — | — | 无视 | 停用 |
| RapidLoad | RapidLoad | 未分类 | — | — | 无视 | 停用 |
| RecurPost | RecurPost | 未分类 | — | — | 无视 | 停用 |
| RestSharp | RestSharp | 未分类 | — | — | 无视 | 停用 |