收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| BangladeshGovBot | BangladeshGovBot | 未分类 | — | — | 无视 | 停用 |
| BBS-BD-Bot | BBS-BD-Bot | 未分类 | — | — | 无视 | 停用 |
| BSS-BD-Bot | BSS-BD-Bot | 未分类 | — | — | 无视 | 停用 |
| BarbadosGovBot | BarbadosGovBot | 未分类 | — | — | 无视 | 停用 |
| BelarusGovBot | BelarusGovBot | 未分类 | — | — | 无视 | 停用 |
| BelStat-BY-Bot | BelStat-BY-Bot | 未分类 | — | — | 无视 | 停用 |
| BELTA-BY-Bot | BELTA-BY-Bot | 未分类 | — | — | 无视 | 停用 |
| BelizeGovBot | BelizeGovBot | 未分类 | — | — | 无视 | 停用 |
| BeninGovBot | BeninGovBot | 未分类 | — | — | 无视 | 停用 |
| INSAE-BJ-Bot | INSAE-BJ-Bot | 未分类 | — | — | 无视 | 停用 |
| BhutanGovBot | BhutanGovBot | 未分类 | — | — | 无视 | 停用 |
| NSB-BT-Bot | NSB-BT-Bot | 未分类 | — | — | 无视 | 停用 |
| RTE-IE-Bot | RTE-IE-Bot | 未分类 | — | — | 无视 | 停用 |
| AustriaGovBot | AustriaGovBot | 未分类 | — | — | 无视 | 停用 |
| Statistik-Austria-Bot | Statistik-Austria-Bot | 未分类 | — | — | 无视 | 停用 |
| ORF-AT-Bot | ORF-AT-Bot | 未分类 | — | — | 无视 | 停用 |
| Statbel-BE-Bot | Statbel-BE-Bot | 未分类 | — | — | 无视 | 停用 |
| VRT-BE-Bot | VRT-BE-Bot | 未分类 | — | — | 无视 | 停用 |
| RNZ-NZ-Bot | RNZ-NZ-Bot | 未分类 | — | — | 无视 | 停用 |
| LuxembourgGovBot | LuxembourgGovBot | 未分类 | — | — | 无视 | 停用 |
| STATEC-LU-Bot | STATEC-LU-Bot | 未分类 | — | — | 无视 | 停用 |
| IsraelGovBot | IsraelGovBot | 未分类 | — | — | 无视 | 停用 |
| ICBS-IL-Bot | ICBS-IL-Bot | 未分类 | — | — | 无视 | 停用 |
| Walla-IL-Bot | Walla-IL-Bot | 未分类 | — | — | 无视 | 停用 |
| UAEGovBot | UAEGovBot | 未分类 | — | — | 无视 | 停用 |
| SCAD-AD-Bot | SCAD-AD-Bot | 未分类 | — | — | 无视 | 停用 |
| WAM-AE-Bot | WAM-AE-Bot | 未分类 | — | — | 无视 | 停用 |
| BahrainGovBot | BahrainGovBot | 未分类 | — | — | 无视 | 停用 |
| InformationAffairs-BH-Bot | InformationAffairs-BH-Bot | 未分类 | — | — | 无视 | 停用 |
| GASTAT-SA-Bot | GASTAT-SA-Bot | 未分类 | — | — | 无视 | 停用 |