收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| pubmatic | pubmatic | 未分类 | — | — | 无视 | 停用 |
| skb kontur | skb kontur | 未分类 | — | — | 无视 | 停用 |
| 2ip.ru | 2ip.ru | 未分类 | — | — | 无视 | 停用 |
| dead link check | dead link check | 未分类 | — | — | 无视 | 停用 |
| usebookchecker | usebookchecker | 未分类 | — | — | 无视 | 停用 |
| google amp | google amp | 未分类 | — | — | 无视 | 停用 |
| comsys | comsys | 未分类 | — | — | 无视 | 停用 |
| ebid ag | ebid ag | 未分类 | — | — | 无视 | 停用 |
| csirt.cz | csirt.cz | 未分类 | — | — | 无视 | 停用 |
| cocolyze | cocolyze | 未分类 | — | — | 无视 | 停用 |
| ionos | ionos | 未分类 | — | — | 无视 | 停用 |
| gumgum | gumgum | 未分类 | — | — | 无视 | 停用 |
| webarchiv | webarchiv | 未分类 | — | — | 无视 | 停用 |
| serptimizobot | serptimizobot | 未分类 | — | — | 无视 | 停用 |
| netpeak | netpeak | 未分类 | — | — | 无视 | 停用 |
| phantomjscloud | phantomjscloud | 未分类 | — | — | 无视 | 停用 |
| domains project | domains project | 未分类 | — | — | 无视 | 停用 |
| spideraf | spideraf | 未分类 | — | — | 无视 | 停用 |
| fccn | fccn | 未分类 | — | — | 无视 | 停用 |
| whatcms | whatcms | 未分类 | — | — | 无视 | 停用 |
| dataforseo | dataforseo | 未分类 | — | — | 无视 | 停用 |
| domcop | domcop | 未分类 | — | — | 无视 | 停用 |
| archiveteam | archiveteam | 未分类 | — | — | 无视 | 停用 |
| rssmicro | rssmicro | 未分类 | — | — | 无视 | 停用 |
| kocmohabt | kocmohabt | 未分类 | — | — | 无视 | 停用 |
| hlidam.to | hlidam.to | 未分类 | — | — | 无视 | 停用 |
| redhunt labs | redhunt labs | 未分类 | — | — | 无视 | 停用 |
| keybot | keybot | 未分类 | — | — | 无视 | 停用 |
| krzana | krzana | 未分类 | — | — | 无视 | 停用 |
| link valet | link valet | 未分类 | — | — | 无视 | 停用 |