收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Repubblica-IT-Bot | Repubblica-IT-Bot | 未分类 | — | — | 无视 | 停用 |
| Stampa-IT-Bot | Stampa-IT-Bot | 未分类 | — | — | 无视 | 停用 |
| Crawl4PA-IT-Bot | Crawl4PA-IT-Bot | 未分类 | — | — | 无视 | 停用 |
| bnf.fr_bot | bnf.fr_bot | 未分类 | — | — | 无视 | 停用 |
| INSEE-FR-Bot | INSEE-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| IGN-FR-Bot | IGN-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| AFP-FR-Bot | AFP-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| FranceTV-FR-Bot | FranceTV-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| LeMonde-FR-Bot | LeMonde-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| LeFigaro-FR-Bot | LeFigaro-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| LesEchos-FR-Bot | LesEchos-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| LeParisien-FR-Bot | LeParisien-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| DataGouv-FR-Bot | DataGouv-FR-Bot | 未分类 | — | — | 无视 | 停用 |
| Y!J-BRZ | Y!J-BRZ | 未分类 | — | — | 无视 | 停用 |
| Y!J-BRI | Y!J-BRI | 未分类 | — | — | 无视 | 停用 |
| Y!J-BRO | Y!J-BRO | 未分类 | — | — | 无视 | 停用 |
| Y!J-BSC | Y!J-BSC | 未分类 | — | — | 无视 | 停用 |
| YJApp-ANDROID | YJApp-ANDROID | 未分类 | — | — | 无视 | 停用 |
| RFCrawler-Mobile | RFCrawler-Mobile | 未分类 | — | — | 无视 | 停用 |
| AsahiNews-Bot | AsahiNews-Bot | 未分类 | — | — | 无视 | 停用 |
| YomiuriNews-Bot | YomiuriNews-Bot | 未分类 | — | — | 无视 | 停用 |
| MainichiNews-Bot | MainichiNews-Bot | 未分类 | — | — | 无视 | 停用 |
| JapanStat-Bot | JapanStat-Bot | 未分类 | — | — | 无视 | 停用 |
| GermanyGovBot | GermanyGovBot | 未分类 | — | — | 无视 | 停用 |
| Destatis-DE-Bot | Destatis-DE-Bot | 未分类 | — | — | 无视 | 停用 |
| BKG-DE-Bot | BKG-DE-Bot | 未分类 | — | — | 无视 | 停用 |
| DNB-Webarchiv-Bot | DNB-Webarchiv-Bot | 未分类 | — | — | 无视 | 停用 |
| DNB-Crawler | DNB-Crawler | 未分类 | — | — | 无视 | 停用 |
| DPA-DE-Bot | DPA-DE-Bot | 未分类 | — | — | 无视 | 停用 |
| ARD-DE-Bot | ARD-DE-Bot | 未分类 | — | — | 无视 | 停用 |