收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| gentlesource | gentlesource | 未分类 | — | — | 无视 | 停用 |
| nusearch | nusearch | 未分类 | — | — | 无视 | 停用 |
| automattic analytics | automattic analytics | 未分类 | — | — | 无视 | 停用 |
| semantic health | semantic health | 未分类 | — | — | 无视 | 停用 |
| relateiq | relateiq | 未分类 | — | — | 无视 | 停用 |
| priceonomics | priceonomics | 未分类 | — | — | 无视 | 停用 |
| crim | crim | 未分类 | — | — | 无视 | 停用 |
| linkstats | linkstats | 未分类 | — | — | 无视 | 停用 |
| microsearch.ru | microsearch.ru | 未分类 | — | — | 无视 | 停用 |
| safeads.xyz | safeads.xyz | 未分类 | — | — | 无视 | 停用 |
| webtarantula | webtarantula | 未分类 | — | — | 无视 | 停用 |
| fastbot | fastbot | 未分类 | — | — | 无视 | 停用 |
| vorboss | vorboss | 未分类 | — | — | 无视 | 停用 |
| willow internet | willow internet | 未分类 | — | — | 无视 | 停用 |
| screenerbot | screenerbot | 未分类 | — | — | 无视 | 停用 |
| jobdigger | jobdigger | 未分类 | — | — | 无视 | 停用 |
| opencalais semantic proxy | opencalais semantic proxy | 未分类 | — | — | 无视 | 停用 |
| tomtom places | tomtom places | 未分类 | — | — | 无视 | 停用 |
| surcentro | surcentro | 未分类 | — | — | 无视 | 停用 |
| symfony | symfony | 未分类 | — | — | 无视 | 停用 |
| jabse.com | jabse.com | 未分类 | — | — | 无视 | 停用 |
| tldstat.com | tldstat.com | 未分类 | — | — | 无视 | 停用 |
| open web analytics | open web analytics | 未分类 | — | — | 无视 | 停用 |
| everyfeed | everyfeed | 未分类 | — | — | 无视 | 停用 |
| r0.cz | r0.cz | 未分类 | — | — | 无视 | 停用 |
| pmoz.info odp | pmoz.info odp | 未分类 | — | — | 无视 | 停用 |
| urlitor | urlitor | 未分类 | — | — | 无视 | 停用 |
| w3dt.net | w3dt.net | 未分类 | — | — | 无视 | 停用 |
| looid.com | looid.com | 未分类 | — | — | 无视 | 停用 |
| showsite | showsite | 未分类 | — | — | 无视 | 停用 |