收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| InetURL: | InetURL: | 未分类 | — | — | 无视 | 停用 |
| HomePage | HomePage | 未分类 | — | — | 无视 | 停用 |
| Headless | Headless | 未分类 | — | — | 无视 | 停用 |
| Goldfire | Goldfire | 未分类 | — | — | 无视 | 停用 |
| gMozilla | gMozilla | 未分类 | — | — | 无视 | 停用 |
| focusbot | focusbot | 未分类 | — | — | 无视 | 停用 |
| Everwall | Everwall | 未分类 | — | — | 无视 | 停用 |
| Contacts | Contacts | 未分类 | — | — | 无视 | 停用 |
| classbot | classbot | 未分类 | — | — | 无视 | 停用 |
| bixolabs | bixolabs | 未分类 | — | — | 无视 | 停用 |
| KDDI-CA3 | KDDI-CA3 | 未分类 | — | — | 无视 | 停用 |
| Calypso v | Calypso v | 未分类 | — | — | 无视 | 停用 |
| Netlab360 | Netlab360 | 未分类 | — | — | 无视 | 停用 |
| Ruby|Ruby | Ruby|Ruby | 未分类 | — | — | 无视 | 停用 |
| akka-http | akka-http | 未分类 | — | — | 无视 | 停用 |
| Alligator | Alligator | 未分类 | — | — | 无视 | 停用 |
| allloadin | allloadin | 未分类 | — | — | 无视 | 停用 |
| apimon.de | apimon.de | 未分类 | — | — | 无视 | 停用 |
| arachnode | arachnode | 未分类 | — | — | 无视 | 停用 |
| Arukereso | Arukereso | 未分类 | — | — | 无视 | 停用 |
| asynchttp | asynchttp | 未分类 | — | — | 无视 | 停用 |
| attohttpc | attohttpc | 未分类 | — | — | 无视 | 停用 |
| Bloglovin | Bloglovin | 未分类 | — | — | 无视 | 停用 |
| Cegbfeieh | Cegbfeieh | 未分类 | — | — | 无视 | 停用 |
| ChinaClaw | ChinaClaw | 未分类 | — | — | 无视 | 停用 |
| DataCha0s | DataCha0s | 未分类 | — | — | 无视 | 停用 |
| DTS Agent | DTS Agent | 未分类 | — | — | 无视 | 停用 |
| Ebingbong | Ebingbong | 未分类 | — | — | 无视 | 停用 |
| Faraday v | Faraday v | 未分类 | — | — | 无视 | 停用 |
| Fetch API | Fetch API | 未分类 | — | — | 无视 | 停用 |