收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Destatis-Bot | 德国联邦统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| FranceGovBot | 法国政府 | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |
| INSEE-Bot | 法国国家统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| ZoominfoBot | ZoominfoBot | 服务爬虫 | 中(每日) | 定向(企业页) | 遵守 | 活跃 |
| Filestack | Filestack | 服务爬虫 | 按需 | 定向 | 遵守 | 活跃 |
| Pandalytics | Pandalytics | 服务爬虫 | 低(每周) | 定向 | 遵守 | 活跃 |
| Mediapartners | Mediapartners | 服务爬虫 | 未知 | — | 无视 | 停用 |
| proximic | proximic | 服务爬虫 | 未知 | — | 无视 | 停用 |
| GrapeshotCrawler | GrapeshotCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| cXensebot | cXensebot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| ADmantX | ADmantX | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AdvBot | AdvBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Google-Adwords-Instant | Google-Adwords-Instant | 服务爬虫 | 未知 | — | 无视 | 停用 |
| adbeat_bot | adbeat_bot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| moatbot | moatbot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| OutclicksBot | OutclicksBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| IAS | IAS | 服务爬虫 | 未知 | — | 无视 | 停用 |
| adscanner | adscanner | 服务爬虫 | 未知 | — | 无视 | 停用 |
| ContextAd | ContextAd | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AdsTxtCrawler | AdsTxtCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Pulsepoint | Pulsepoint | 服务爬虫 | 未知 | — | 无视 | 停用 |
| outbrain | outbrain | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Clickagy | Clickagy | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Eyeotabot | Eyeotabot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| bidswitchbot | bidswitchbot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Taboolabot | Taboolabot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| VoluumDSP-content-bot | VoluumDSP-content-bot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| CriteoBot | CriteoBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| facebookcatalog | facebookcatalog | 服务爬虫 | 未知 | — | 无视 | 停用 |
| meta-externalads | meta-externalads | 服务爬虫 | 未知 | — | 无视 | 停用 |