收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| basicstate | basicstate | 未分类 | — | — | 无视 | 停用 |
| leadcrunch | leadcrunch | 未分类 | — | — | 无视 | 停用 |
| companybook | companybook | 未分类 | — | — | 无视 | 停用 |
| mewebbot | mewebbot | 未分类 | — | — | 无视 | 停用 |
| domaincheck.io | domaincheck.io | 未分类 | — | — | 无视 | 停用 |
| localsearch | localsearch | 未分类 | — | — | 无视 | 停用 |
| rankflex | rankflex | 未分类 | — | — | 无视 | 停用 |
| ithemes | ithemes | 未分类 | — | — | 无视 | 停用 |
| 1001firms | 1001firms | 未分类 | — | — | 无视 | 停用 |
| hkedcity | hkedcity | 未分类 | — | — | 无视 | 停用 |
| online-webceo | online-webceo | 未分类 | — | — | 无视 | 停用 |
| janforman | janforman | 未分类 | — | — | 无视 | 停用 |
| webhint | webhint | 未分类 | — | — | 无视 | 停用 |
| motoricerca | motoricerca | 未分类 | — | — | 无视 | 停用 |
| codewise | codewise | 未分类 | — | — | 无视 | 停用 |
| orion-semantics | orion-semantics | 未分类 | — | — | 无视 | 停用 |
| manualzz | manualzz | 未分类 | — | — | 无视 | 停用 |
| tcptools | tcptools | 未分类 | — | — | 无视 | 停用 |
| glindahl | glindahl | 未分类 | — | — | 无视 | 停用 |
| semasio | semasio | 未分类 | — | — | 无视 | 停用 |
| stumbleupon | stumbleupon | 未分类 | — | — | 无视 | 停用 |
| yamanaLab | yamanaLab | 未分类 | — | — | 无视 | 停用 |
| parsijoo | parsijoo | 未分类 | — | — | 无视 | 停用 |
| vegi | vegi | 未分类 | — | — | 无视 | 停用 |
| johnhew | johnhew | 未分类 | — | — | 无视 | 停用 |
| office 365 | office 365 | 未分类 | — | — | 无视 | 停用 |
| hosterstats | hosterstats | 未分类 | — | — | 无视 | 停用 |
| scopia | scopia | 未分类 | — | — | 无视 | 停用 |
| teamspeak | teamspeak | 未分类 | — | — | 无视 | 停用 |
| netk6 | netk6 | 未分类 | — | — | 无视 | 停用 |