收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Siteluxbot | Siteluxbot | 未分类 | — | — | 无视 | 停用 |
| Semantic Health Web Crawler | Semantic Health Web Crawler | 未分类 | — | — | 无视 | 停用 |
| Autonomy | Autonomy | 未分类 | — | — | 无视 | 停用 |
| LinkMarket-Bot | LinkMarket-Bot | 未分类 | — | — | 无视 | 停用 |
| RelateIQ Crawler | RelateIQ Crawler | 未分类 | — | — | 无视 | 停用 |
| Priceonomics Analysis Engine | Priceonomics Analysis Engine | 未分类 | — | — | 无视 | 停用 |
| LDSpider | LDSpider | 未分类 | — | — | 无视 | 停用 |
| CRIM Crawler | CRIM Crawler | 未分类 | — | — | 无视 | 停用 |
| ExchangleBot | ExchangleBot | 未分类 | — | — | 无视 | 停用 |
| Sufog | Sufog | 未分类 | — | — | 无视 | 停用 |
| LinkStats Bot | LinkStats Bot | 未分类 | — | — | 无视 | 停用 |
| kulturarw | kulturarw | 未分类 | — | — | 无视 | 停用 |
| sg-Orbiter | sg-Orbiter | 未分类 | — | — | 无视 | 停用 |
| Microsearch.ru Bot | Microsearch.ru Bot | 未分类 | — | — | 无视 | 停用 |
| Semager | Semager | 未分类 | — | — | 无视 | 停用 |
| SafeAds.xyz bot | SafeAds.xyz bot | 未分类 | — | — | 无视 | 停用 |
| dubaiindex | dubaiindex | 未分类 | — | — | 无视 | 停用 |
| CloudServerMarketSpider | CloudServerMarketSpider | 未分类 | — | — | 无视 | 停用 |
| SiteCondor | SiteCondor | 未分类 | — | — | 无视 | 停用 |
| XING-contenttabreceiver | XING-contenttabreceiver | 未分类 | — | — | 无视 | 停用 |
| WebTarantula.com Crawler | WebTarantula.com Crawler | 未分类 | — | — | 无视 | 停用 |
| METASpider | METASpider | 未分类 | — | — | 无视 | 停用 |
| Scooter | Scooter | 未分类 | — | — | 无视 | 停用 |
| Arachnophilia | Arachnophilia | 未分类 | — | — | 无视 | 停用 |
| search.KumKie.com | search.KumKie.com | 未分类 | — | — | 无视 | 停用 |
| Nigma.ru | Nigma.ru | 未分类 | — | — | 无视 | 停用 |
| UnisterBot | UnisterBot | 未分类 | — | — | 无视 | 停用 |
| zitebot | zitebot | 未分类 | — | — | 无视 | 停用 |
| Crowsnest | Crowsnest | 未分类 | — | — | 无视 | 停用 |
| x28-job-bot | x28-job-bot | 未分类 | — | — | 无视 | 停用 |