椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 7269 条
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
AhrefsCNSpider AhrefsCNSpider SEO分析 中(每周1次) 浅(服务页面) 遵守 活跃
YouBot YouBot AI数据 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
WeChatBot 微信机器人 服务爬虫 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
Applebot Apple 搜索引擎 高(全球动态调整) 深(全量覆盖) 遵守 活跃
Googlebot-Image Google图片 搜索引擎 无 JS 渲染,仅抓取静态图片资源 深(全页面内容+链接+多媒体资源) 遵守 活跃
Lycos Lycos 搜索引擎 单域名 1-3 次 / 分钟,老旧站点自动降频 默认 3 层,最大 7 层(可配置) 遵守 活跃
Infoseek Sidewinder Infoseek 网络爬虫 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 停用
Yisouspider-Render 宜搜渲染 搜索引擎 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
DotBot Moz SEO分析 中(每周1次) 中(企业信息+产品数据+市场动态) 遵守 活跃
PetalBot Petal 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
BLEXBot BLEXBot SEO分析 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
Yisouspider-Video 宜搜视频 搜索引擎 中(每周1次) 浅(服务信息+订阅内容+民生数据) 遵守 活跃
omgilibot omgilibot 网络爬虫 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
SeekportBot SeekportBot 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
Qwantify Qwantify 搜索引擎爬虫 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
yacybot YaCy 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
Findberry Bot Findberry 搜索引擎 中(每周1次) 中(企业信息+产品数据+市场动态) 遵守 活跃
coccocbot-image 可可图片 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
coccocbot-web Coc Coc 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
Qwantbot Qwant 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
Ask Jeeves Ask.com 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
WP.com mShots Mshots Preview 工具爬虫 低(每月1次) 浅(测试页面+API接口+性能数据) 遵守 活跃
BitSightBot BitSight 安全检测 低(每月1次) 浅(测试页面+API接口+性能数据) 遵守 活跃
NetcraftSurveyAgent NetcraftSurveyAgent 网络爬虫 低(每月1次) 浅(测试页面+API接口+性能数据) 无视 活跃
AliyunSecBot 阿里云安全 安全检测 低(每月1次) 浅(测试页面+API接口+性能数据) 遵守 活跃
MojeekBot Mojeek 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
AOLBot AOL 搜索引擎 单域名 1–3 次 / 分钟,老旧站点自动降频 默认 3 层,最大 6 层(优先抓取.com/.net站点) 遵守 活跃
Lycos_Spider Lycos_Spider 搜索引擎 单域名 1-3 次 / 分钟,老旧站点自动降频 默认 3 层,最大 7 层(可配置) 遵守 活跃
INETDEX-BOT INETDEX 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
EntferBot EntferBot 搜索引擎 中(每日1次) 深(全页面内容+链接+多媒体资源) 遵守 活跃
第 2 / 243 页
首页 上一页 1 2 3 4 5 下一页 尾页
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册