收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| haw.nsk.hr | haw.nsk.hr | 未分类 | — | — | 无视 | 停用 |
| dyno mapper | dyno mapper | 未分类 | — | — | 无视 | 停用 |
| solofield | solofield | 未分类 | — | — | 无视 | 停用 |
| who.is | who.is | 未分类 | — | — | 无视 | 停用 |
| popetech | popetech | 未分类 | — | — | 无视 | 停用 |
| ipv6-test | ipv6-test | 未分类 | — | — | 无视 | 停用 |
| law insider | law insider | 未分类 | — | — | 无视 | 停用 |
| experian | experian | 未分类 | — | — | 无视 | 停用 |
| tu braunschweig | tu braunschweig | 未分类 | — | — | 无视 | 停用 |
| infohound | infohound | 未分类 | — | — | 无视 | 停用 |
| 1stwarning | 1stwarning | 未分类 | — | — | 无视 | 停用 |
| gschaid | gschaid | 未分类 | — | — | 无视 | 停用 |
| pimeyes | pimeyes | 未分类 | — | — | 无视 | 停用 |
| stephan kopp | stephan kopp | 未分类 | — | — | 无视 | 停用 |
| tools4noobs | tools4noobs | 未分类 | — | — | 无视 | 停用 |
| cronjob.de | cronjob.de | 未分类 | — | — | 无视 | 停用 |
| internetwache | internetwache | 未分类 | — | — | 无视 | 停用 |
| website-audit | website-audit | 未分类 | — | — | 无视 | 停用 |
| cirkwi | cirkwi | 未分类 | — | — | 无视 | 停用 |
| 2gdpr | 2gdpr | 未分类 | — | — | 无视 | 停用 |
| hypefactors | hypefactors | 未分类 | — | — | 无视 | 停用 |
| archive.st | archive.st | 未分类 | — | — | 无视 | 停用 |
| marfeel | marfeel | 未分类 | — | — | 无视 | 停用 |
| statdom.ru | statdom.ru | 未分类 | — | — | 无视 | 停用 |
| pagemodified | pagemodified | 未分类 | — | — | 无视 | 停用 |
| webtechsurvey | webtechsurvey | 未分类 | — | — | 无视 | 停用 |
| cydral | cydral | 未分类 | — | — | 无视 | 停用 |
| statista | statista | 未分类 | — | — | 无视 | 停用 |
| docbase | docbase | 未分类 | — | — | 无视 | 停用 |
| onespot | onespot | 未分类 | — | — | 无视 | 停用 |