椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 249 条 · 类型「搜索引擎」
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
AOLBot AOL 搜索引擎 单域名 1–3 次 / 分钟,老旧站点自动降频 默认 3 层,最大 6 层(优先抓取.com/.net站点) 遵守 活跃
Lycos_Spider Lycos_Spider 搜索引擎 单域名 1-3 次 / 分钟,老旧站点自动降频 默认 3 层,最大 7 层(可配置) 遵守 活跃
INETDEX-BOT INETDEX 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
EntferBot EntferBot 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
TinEyeBot TinEyeBot 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
OptusBot Optus 搜索引擎 单域名 1-2 次 / 分钟,低压力自适应 默认 2 层,最大 5 层(可配置) 遵守 活跃
TelstraBot Telstra 搜索引擎 单域名 1–2 次 / 分钟,低压力自适应 默认 2 层,最大 5 层(可配置) 遵守 活跃
AustraliaBot Australia 搜索引擎 单域名约 2.3 次 / 秒,错误时指数退避 默认 3 层,最大 6 层(优先澳域.au站点) 遵守 活跃
AskJeevesBot AskJeeves 搜索引擎 单域名 1–2 次 / 分钟 默认 2 层,最大 4 层 遵守 活跃
Gigabot Giga 搜索引擎 中高(5-10分钟/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
DeepnocBo DeepnocBo 搜索引擎 极低(6-24小时/次) 全量(抓取网站所有可访问页面) 遵守 停用
Gowikibot Gowikibot 搜索引擎 高(1-5分钟/次) 全量(抓取网站所有可访问页面) 遵守 活跃
GynxBot GynxBot 搜索引擎 中(10-30分钟/次) 浅层(仅抓取首页及一级页面) 遵守 活跃
Crawlson Crawlson 搜索引擎 高(1-5分钟/次) 深层(抓取首页及三级以上页面) 遵守 活跃
Findxbot Findxbot 搜索引擎 极低(6-24小时/次) 中层(抓取首页及二级页面) 遵守 停用
iaskspider Sina iAsk 搜索引擎 中高(5-10分钟/次) 定向(仅抓取指定页面) 无视 活跃
Yahoo Latino Bot Yahoo Latino 搜索引擎 单域名 1–2 次 / 分钟 默认 3 层,最大 5 层 遵守 活跃
BellBot Bell 搜索引擎 单域名 1 次 / 1–2 分钟 默认 2 层,最大 4 层 遵守 停用
presearch presearch 搜索引擎 极低(6-24小时/次) 中层(抓取首页及二级页面) 遵守 活跃
deepnoc deepnoc 搜索引擎 低(1-6小时/次) 浅层(仅抓取首页及一级页面) 遵守 停用
Daumoa-image Daumoa-image 搜索引擎 暂停(24小时以上) 定向(仅抓取指定页面) 遵守 活跃
coccocbot-mobile coccoc移动版 搜索引擎 中等,友好限速 移动列表页→移动详情页,2 层 遵守 活跃
IbouBot IbouBot 搜索引擎 中等,单站间隔抓取 3–5 层 遵守 活跃
Seekport Crawler Seekport Crawler 搜索引擎 中等,部分节点偏高 3–5 层 遵守 活跃
daumoa daumoa 搜索引擎 中高(韩国站点优先,国际站点中等) 深层(抓取首页及三级以上页面) 遵守 活跃
damoa damoa 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
daumos daumos 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duamoa duamoa 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duam duam 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
duamo duamo 搜索引擎 低–中等,单站间隔抓取 2–4 层 遵守 活跃
第 2 / 9 页
首页 上一页 1 2 3 4 5 下一页 尾页
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册