收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| i4a.pl bot | i4a.pl bot | 未分类 | — | — | 无视 | 停用 |
| WSE bot | WSE bot | 未分类 | — | — | 无视 | 停用 |
| autoemailspider | autoemailspider | 未分类 | — | — | 无视 | 停用 |
| fake_bot | fake_bot | 未分类 | — | — | 无视 | 停用 |
| linabot | linabot | 未分类 | — | — | 无视 | 停用 |
| Google Youtube | Google Youtube | 未分类 | — | — | 无视 | 停用 |
| bl-uk_lddc_bot | bl-uk_lddc_bot | 未分类 | — | — | 无视 | 停用 |
| Zaldamo Bot | Zaldamo Bot | 未分类 | — | — | 无视 | 停用 |
| JobBot | JobBot | 未分类 | — | — | 无视 | 停用 |
| Notion bot | Notion bot | 未分类 | — | — | 无视 | 停用 |
| GozleBot | GozleBot | 未分类 | — | — | 无视 | 停用 |
| seoClarity bot | seoClarity bot | 未分类 | — | — | 无视 | 停用 |
| URIBOT | URIBOT | 未分类 | — | — | 无视 | 停用 |
| MediaWiki crawler | MediaWiki crawler | 未分类 | — | — | 无视 | 停用 |
| Keerthi Bot | Keerthi Bot | 未分类 | — | — | 无视 | 停用 |
| Morningscore Bot | Morningscore Bot | 未分类 | — | — | 无视 | 停用 |
| BSbot | BSbot | 未分类 | — | — | 无视 | 停用 |
| Zeno | Zeno | 未分类 | — | — | 无视 | 停用 |
| Bimbot | Bimbot | 未分类 | — | — | 无视 | 停用 |
| TurconeBot | TurconeBot | 未分类 | — | — | 无视 | 停用 |
| CERT Polska crawler | CERT Polska crawler | 未分类 | — | — | 无视 | 停用 |
| SuperBot | SuperBot | 未分类 | — | — | 无视 | 停用 |
| img2downloader | img2downloader | 未分类 | — | — | 无视 | 停用 |
| PrivateBot | PrivateBot | 未分类 | — | — | 无视 | 停用 |
| GlobalGoalsDirectoryBot | GlobalGoalsDirectoryBot | 未分类 | — | — | 无视 | 停用 |
| browserClientA | browserClientA | 未分类 | — | — | 无视 | 停用 |
| Matrix.org crawler | Matrix.org crawler | 未分类 | — | — | 无视 | 停用 |
| QBOT | QBOT | 未分类 | — | — | 无视 | 停用 |
| OpenAI bot | OpenAI bot | 未分类 | — | — | 无视 | 停用 |
| aragna.net crawler | aragna.net crawler | 未分类 | — | — | 无视 | 停用 |