收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Khalifa-University-Crawler | Khalifa-University-Crawler | 未分类 | — | — | 无视 | 停用 |
| UAE-Digital-Repository-Crawler | UAE-Digital-Repository-Crawler | 未分类 | — | — | 无视 | 停用 |
| Sharjah-Gov-Crawler | Sharjah-Gov-Crawler | 未分类 | — | — | 无视 | 停用 |
| ADDA-Crawler | ADDA-Crawler | 未分类 | — | — | 无视 | 停用 |
| UAE-Business-Directory-Crawler | UAE-Business-Directory-Crawler | 未分类 | — | — | 无视 | 停用 |
| DataGovUA-Crawler | DataGovUA-Crawler | 未分类 | — | — | 无视 | 停用 |
| DataGovUA-Bot | DataGovUA-Bot | 未分类 | — | — | 无视 | 停用 |
| Prozorro-Crawler | Prozorro-Crawler | 未分类 | — | — | 无视 | 停用 |
| Ukraine-State-Statistics-Crawler | Ukraine-State-Statistics-Crawler | 未分类 | — | — | 无视 | 停用 |
| MoD-Ukraine-Crawler | MoD-Ukraine-Crawler | 未分类 | — | — | 无视 | 停用 |
| National-Library-Ukraine-Crawler | National-Library-Ukraine-Crawler | 未分类 | — | — | 无视 | 停用 |
| Opendatabot-Crawler | Opendatabot-Crawler | 未分类 | — | — | 无视 | 停用 |
| Opendatabot | Opendatabot | 未分类 | — | — | 无视 | 停用 |
| WorkUA-Crawler | WorkUA-Crawler | 未分类 | — | — | 无视 | 停用 |
| WorkUABot | WorkUABot | 未分类 | — | — | 无视 | 停用 |
| OLX-Ukraine-Crawler | OLX-Ukraine-Crawler | 未分类 | — | — | 无视 | 停用 |
| UberText-Crawler | UberText-Crawler | 未分类 | — | — | 无视 | 停用 |
| OUCI-Crawler | OUCI-Crawler | 未分类 | — | — | 无视 | 停用 |
| SUCHO-Crawler | SUCHO-Crawler | 未分类 | — | — | 无视 | 停用 |
| NAUKA-Ukraine-Crawler | NAUKA-Ukraine-Crawler | 未分类 | — | — | 无视 | 停用 |
| Kyiv-City-Crawler | Kyiv-City-Crawler | 未分类 | — | — | 无视 | 停用 |
| Lviv-Oblast-Crawler | Lviv-Oblast-Crawler | 未分类 | — | — | 无视 | 停用 |
| Ukraine-Business-Registry-Crawler | Ukraine-Business-Registry-Crawler | 未分类 | — | — | 无视 | 停用 |
| USGS-Crawler | USGS-Crawler | 未分类 | — | — | 无视 | 停用 |
| US-Census-Crawler | US-Census-Crawler | 未分类 | — | — | 无视 | 停用 |
| Library-of-Congress-Crawler | Library-of-Congress-Crawler | 未分类 | — | — | 无视 | 停用 |
| NASA-Crawler | NASA-Crawler | 未分类 | — | — | 无视 | 停用 |
| arXiv-Crawler | arXiv-Crawler | 未分类 | — | — | 无视 | 停用 |
| Alexa Crawler | Alexa Crawler | 未分类 | — | — | 无视 | 停用 |
| UBOS-Crawler | UBOS-Crawler | 未分类 | — | — | 无视 | 停用 |