椒椒图蜘蛛信息查询
JIAOTU · SPIDER DATABASE

椒图 · 蜘蛛信息数据库

收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。

7,269已收录爬虫
23覆盖类型
1近7天蜘蛛样本更新
数据检索 支持 UA / 名称 / 类型 / 介绍 / 抓取频率 / 抓取深度 模糊搜索
爬虫数据 仅展示已审核数据 · 共 249 条 · 类型「搜索引擎」
User-Agent 爬虫名称 类型 抓取频率 抓取深度 遵守 Robots 是否活跃
Mail.RuBot Mail.RuBot 搜索引擎 中高,按站点更新频率调整 3–6 层 遵守 活跃
Mail.Ru MailRu 搜索引擎 中高,按站点更新频率调整 3–6 层 遵守 活跃
InetDex InetDex 1.2 搜索引擎 低 — 中等,单站点间隔抓取 3–5 层 遵守 活跃
NaverBot NaverBot 搜索引擎 对高频更新站点(如新闻)每小时级抓取,普通站点 1-7 天 / 次(动态自适应) 常规抓取深度为 5-10 层(可根据站点权重动态调整) 遵守 活跃
Neevabot Neeva 搜索引擎 活跃期:高权重站 1–3 天 / 次,普通站 7–14 天 / 次 默认 3 层,聚焦可索引内容页面 遵守 停用
Gulliver Gulliver 搜索引擎 单域名 1-2 次 / 分钟 默认 3 层,最大 5 层 遵守 停用
Googlebot-News Googlebot-News 搜索引擎 高(动态调整) 定向(新闻页面) 遵守 活跃
Googlebot-Video Googlebot-Video 搜索引擎 中(动态调整) 定向(视频页面) 遵守 活跃
GoogleOther GoogleOther 搜索引擎 中(动态调整) 中 遵守 活跃
msnbot msnbot 搜索引擎 低 中 遵守 活跃
msnbot-NewsBlogs msnbot-NewsBlogs 搜索引擎 低 定向 遵守 活跃
YandexImages YandexImages 搜索引擎 中 定向(图片) 遵守 活跃
YandexVideo YandexVideo 搜索引擎 中 定向(视频) 遵守 活跃
YandexNews YandexNews 搜索引擎 高(每小时) 定向(新闻) 遵守 活跃
YandexBlogs YandexBlogs 搜索引擎 中 定向 遵守 活跃
YandexMobileBot YandexMobileBot 搜索引擎 中 中 遵守 活跃
Baiduspider-image Baiduspider-image 搜索引擎 中(动态调整) 定向(图片资源) 遵守 活跃
Baiduspider-video Baiduspider-video 搜索引擎 中(动态调整) 定向(视频页面) 遵守 活跃
Baiduspider-news Baiduspider-news 搜索引擎 高(每小时) 定向(新闻页面) 遵守 活跃
Sogouwebspider Sogou 搜索引擎 中(动态调整) 深(全量抓取) 遵守 活跃
SogouNewsSpider Sogou News 搜索引擎 高(每小时) 定向(新闻) 遵守 活跃
SogouImageSpider SogouImageSpider 搜索引擎 中 定向(图片) 遵守 活跃
Sogou Orion spider Sogou Orion spider 搜索引擎 低 中 遵守 活跃
HaoSouSpider haosou360 搜索引擎 中 深 遵守 活跃
Yahoo! Slurp Yahoo! Slurp 搜索引擎 中 深 遵守 活跃
Blekkobot Blekko 搜索引擎 低 中 遵守 活跃
Bravebot Brave Search 搜索引擎 中 深 遵守 活跃
Teoma Ask.com(IAC) 搜索引擎 已停止 — 遵守 活跃
AddSearchBot AddSearchBot 搜索引擎 Unclear at this time. — 无视 停用
AIWebIndex AIWebIndex 搜索引擎 At most one request per domain every 2 s — 遵守 停用
第 3 / 9 页
首页 上一页 1 2 3 4 5 6 下一页 尾页
椒图(Jiaotu)蜘蛛信息查询平台 · 数据持续更新中 IP查询API · 使用手册