收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| AOLBot | AOL | 搜索引擎 | 单域名 1–3 次 / 分钟,老旧站点自动降频 | 默认 3 层,最大 6 层(优先抓取.com/.net站点) | 遵守 | 活跃 |
| Lycos_Spider | Lycos_Spider | 搜索引擎 | 单域名 1-3 次 / 分钟,老旧站点自动降频 | 默认 3 层,最大 7 层(可配置) | 遵守 | 活跃 |
| INETDEX-BOT | INETDEX | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| EntferBot | EntferBot | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| TinEyeBot | TinEyeBot | 搜索引擎 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| OptusBot | Optus | 搜索引擎 | 单域名 1-2 次 / 分钟,低压力自适应 | 默认 2 层,最大 5 层(可配置) | 遵守 | 活跃 |
| TelstraBot | Telstra | 搜索引擎 | 单域名 1–2 次 / 分钟,低压力自适应 | 默认 2 层,最大 5 层(可配置) | 遵守 | 活跃 |
| AustraliaBot | Australia | 搜索引擎 | 单域名约 2.3 次 / 秒,错误时指数退避 | 默认 3 层,最大 6 层(优先澳域.au站点) | 遵守 | 活跃 |
| AskJeevesBot | AskJeeves | 搜索引擎 | 单域名 1–2 次 / 分钟 | 默认 2 层,最大 4 层 | 遵守 | 活跃 |
| Gigabot | Giga | 搜索引擎 | 中高(5-10分钟/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| DeepnocBo | DeepnocBo | 搜索引擎 | 极低(6-24小时/次) | 全量(抓取网站所有可访问页面) | 遵守 | 停用 |
| Gowikibot | Gowikibot | 搜索引擎 | 高(1-5分钟/次) | 全量(抓取网站所有可访问页面) | 遵守 | 活跃 |
| GynxBot | GynxBot | 搜索引擎 | 中(10-30分钟/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| Crawlson | Crawlson | 搜索引擎 | 高(1-5分钟/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| Findxbot | Findxbot | 搜索引擎 | 极低(6-24小时/次) | 中层(抓取首页及二级页面) | 遵守 | 停用 |
| iaskspider | Sina iAsk | 搜索引擎 | 中高(5-10分钟/次) | 定向(仅抓取指定页面) | 无视 | 活跃 |
| Yahoo Latino Bot | Yahoo Latino | 搜索引擎 | 单域名 1–2 次 / 分钟 | 默认 3 层,最大 5 层 | 遵守 | 活跃 |
| BellBot | Bell | 搜索引擎 | 单域名 1 次 / 1–2 分钟 | 默认 2 层,最大 4 层 | 遵守 | 停用 |
| presearch | presearch | 搜索引擎 | 极低(6-24小时/次) | 中层(抓取首页及二级页面) | 遵守 | 活跃 |
| deepnoc | deepnoc | 搜索引擎 | 低(1-6小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 停用 |
| Daumoa-image | Daumoa-image | 搜索引擎 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| coccocbot-mobile | coccoc移动版 | 搜索引擎 | 中等,友好限速 | 移动列表页→移动详情页,2 层 | 遵守 | 活跃 |
| IbouBot | IbouBot | 搜索引擎 | 中等,单站间隔抓取 | 3–5 层 | 遵守 | 活跃 |
| Seekport Crawler | Seekport Crawler | 搜索引擎 | 中等,部分节点偏高 | 3–5 层 | 遵守 | 活跃 |
| daumoa | daumoa | 搜索引擎 | 中高(韩国站点优先,国际站点中等) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| damoa | damoa | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| daumos | daumos | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duamoa | duamoa | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duam | duam | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |
| duamo | duamo | 搜索引擎 | 低–中等,单站间隔抓取 | 2–4 层 | 遵守 | 活跃 |