收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| CZSO-Bot | CZSO-Bot | 未分类 | — | — | 无视 | 停用 |
| HungaryGovBot | HungaryGovBot | 未分类 | — | — | 无视 | 停用 |
| KSH-HU-Bot | KSH-HU-Bot | 未分类 | — | — | 无视 | 停用 |
| PolandGovBot | PolandGovBot | 未分类 | — | — | 无视 | 停用 |
| GUS-Bot | GUS-Bot | 未分类 | — | — | 无视 | 停用 |
| StatisticsEstonia-Bot | StatisticsEstonia-Bot | 未分类 | — | — | 无视 | 停用 |
| ELL-NAT-LIB-Crawler | ELL-NAT-LIB-Crawler | 未分类 | — | — | 无视 | 停用 |
| LatviaGovBot | LatviaGovBot | 未分类 | — | — | 无视 | 停用 |
| CSB-LV-Bot | CSB-LV-Bot | 未分类 | — | — | 无视 | 停用 |
| StatisticsLithuania-Bot | StatisticsLithuania-Bot | 未分类 | — | — | 无视 | 停用 |
| ScreamingFrogSEO Spider | ScreamingFrogSEO Spider | 未分类 | — | — | 无视 | 停用 |
| govuk-mirror-bot | govuk-mirror-bot | 未分类 | — | — | 无视 | 停用 |
| national-archives-uk-web-archive | national-archives-uk-web-archive | 未分类 | — | — | 无视 | 停用 |
| bl.uk-bot | bl.uk-bot | 未分类 | — | — | 无视 | 停用 |
| DataGovUK-Scraper | DataGovUK-Scraper | 未分类 | — | — | 无视 | 停用 |
| UK-Web-Archive-Consortium | UK-Web-Archive-Consortium | 未分类 | — | — | 无视 | 停用 |
| BBC-Content-Crawler | BBC-Content-Crawler | 未分类 | — | — | 无视 | 停用 |
| JISC-Academic-Crawler | JISC-Academic-Crawler | 未分类 | — | — | 无视 | 停用 |
| UKSearchBot | UKSearchBot | 未分类 | — | — | 无视 | 停用 |
| BritishBusinessBot | BritishBusinessBot | 未分类 | — | — | 无视 | 停用 |
| UAE-Gov-Portal-Crawler | UAE-Gov-Portal-Crawler | 未分类 | — | — | 无视 | 停用 |
| UAE-Gov-Crawler | UAE-Gov-Crawler | 未分类 | — | — | 无视 | 停用 |
| TDRA-Monitor-Bot | TDRA-Monitor-Bot | 未分类 | — | — | 无视 | 停用 |
| UAE-National-Archives-Crawler | UAE-National-Archives-Crawler | 未分类 | — | — | 无视 | 停用 |
| Dubai-Municipality-Crawler | Dubai-Municipality-Crawler | 未分类 | — | — | 无视 | 停用 |
| UAE-Search-Bot | UAE-Search-Bot | 未分类 | — | — | 无视 | 停用 |
| YellowPages-UAE-Crawler | YellowPages-UAE-Crawler | 未分类 | — | — | 无视 | 停用 |
| Bayut-Crawler | Bayut-Crawler | 未分类 | — | — | 无视 | 停用 |
| e&-Content-Crawler | e&-Content-Crawler | 未分类 | — | — | 无视 | 停用 |
| UAEU-Academic-Crawler | UAEU-Academic-Crawler | 未分类 | — | — | 无视 | 停用 |