收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| alendo | alendo | 未分类 | — | — | 无视 | 停用 |
| premsgo | premsgo | 未分类 | — | — | 无视 | 停用 |
| freshworks | freshworks | 未分类 | — | — | 无视 | 停用 |
| library.unt.edu | library.unt.edu | 未分类 | — | — | 无视 | 停用 |
| biginfolabs | biginfolabs | 未分类 | — | — | 无视 | 停用 |
| bias-goggles | bias-goggles | 未分类 | — | — | 无视 | 停用 |
| adstxt.com | adstxt.com | 未分类 | — | — | 无视 | 停用 |
| scopecontent | scopecontent | 未分类 | — | — | 无视 | 停用 |
| hledejlevne | hledejlevne | 未分类 | — | — | 无视 | 停用 |
| hyperzbozi | hyperzbozi | 未分类 | — | — | 无视 | 停用 |
| ebit | ebit | 未分类 | — | — | 无视 | 停用 |
| bitrix | bitrix | 未分类 | — | — | 无视 | 停用 |
| privacyscore | privacyscore | 未分类 | — | — | 无视 | 停用 |
| automation anywhere | automation anywhere | 未分类 | — | — | 无视 | 停用 |
| blue prism | blue prism | 未分类 | — | — | 无视 | 停用 |
| virusdie | virusdie | 未分类 | — | — | 无视 | 停用 |
| people data labs | people data labs | 未分类 | — | — | 无视 | 停用 |
| linkgraph | linkgraph | 未分类 | — | — | 无视 | 停用 |
| keepright | keepright | 未分类 | — | — | 无视 | 停用 |
| aspire | aspire | 未分类 | — | — | 无视 | 停用 |
| leady | leady | 未分类 | — | — | 无视 | 停用 |
| affiliatelabz | affiliatelabz | 未分类 | — | — | 无视 | 停用 |
| epfl | epfl | 未分类 | — | — | 无视 | 停用 |
| blogger | blogger | 未分类 | — | — | 无视 | 停用 |
| iodc | iodc | 未分类 | — | — | 无视 | 停用 |
| atlas comm | atlas comm | 未分类 | — | — | 无视 | 停用 |
| vebidoo | vebidoo | 未分类 | — | — | 无视 | 停用 |
| gluten free | gluten free | 未分类 | — | — | 无视 | 停用 |
| oasis.go.kr | oasis.go.kr | 未分类 | — | — | 无视 | 停用 |
| sideqik | sideqik | 未分类 | — | — | 无视 | 停用 |