头条 - 椒图蜘蛛信息查询

头条 · 基础档案

爬虫名称

头条

活跃状态

活跃

Robots 协议

遵守

爬虫价值

4

能力评估六维评分由档案字段映射生成，仅供参考

能力雷达图加载中...

爬虫介绍

字节跳动自研，为头条搜索、抖音搜索提供网页索引，同时抓取公开内容用于大模型训练，覆盖全球多端，头条 / 抖音搜索的网页索引与收录，豆包（Doubao）等大模型的训练数据采集，内容理解与推荐算法优化

细节参数请求头与抓取行为完整档案

名称

头条

User-Agent

Bytespider

版本号

1

爬虫类型

搜索引擎

官方网址

https://www.bytedance.com/bot

抓取频率

高（动态调整）

抓取深度

深（全量抓取）

渲染能力

支持JS渲染

Accept 请求头

text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language

zh-CN,zh;q=0.9,en;q=0.8

Connection

keep-alive

Accept-Encoding

gzip, deflate, br

联系邮箱

spider-feedback@bytedance.com

首次出现

2019年

创建时间

2026-03-02 14:45:55

来路 IP 信息来自椒图采集网络的实测记录

共 76 条记录｜第 1 页 / 共 8 页

IP 地址	爬虫名称	访问时间
110.249.201.103	头条	2026-08-31 13:40:07
110.249.201.137	头条	2026-08-07 03:51:19
110.249.201.148	头条	2026-01-17 11:29:00
110.249.201.157	头条	2026-05-25 18:08:47
110.249.201.164	头条	2026-06-03 19:49:50
110.249.201.166	头条	2026-08-05 13:10:10
110.249.201.167	头条	2026-05-09 00:56:57
110.249.201.179	头条	2026-08-28 21:53:34
110.249.201.181	头条	2026-01-29 23:49:35
110.249.201.187	头条	2026-09-20 10:42:52

拦截头条的方法五种方案按拦截强度与部署成本选择

1. robots.txt 禁止（标准方式，仅对合规爬虫有效）

通过网站根目录的 robots.txt 声明禁止该爬虫访问，简单标准；恶意爬虫会无视该规则。

User-agent: Bytespider
Disallow: /

2. Nginx / Apache 根据 UA 拉黑（服务器级拦截，效率高）

在服务器配置中直接匹配爬虫 UA 返回 403，不消耗应用资源；需修改服务器配置。

if ($http_user_agent ~* (Bytespider)) {
    return 403;
}

3. .htaccess 禁止（Apache 专属，虚拟主机常用）

通过 .htaccess 规则拦截指定 UA，无需修改主配置；仅适用于 Apache 服务器。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider) [NC]
RewriteRule ^ - [F,L]

4. PHP / 后端判断 UA 拦截（灵活定制，适配所有环境）

在 PHP 代码中判断访问者 UA，命中后返回 403，灵活可定制；会消耗应用服务器资源。

$ua = $_SERVER['HTTP_USER_AGENT'];
if (stripos($ua, 'Bytespider') !== false) {    header('HTTP/1.1 403 Forbidden');    exit;
}

5. JS 屏蔽（前端拦截，仅挡普通爬虫）

前端 JavaScript 检测 UA 并跳转 403 页面，简单易实现；高级爬虫可绕过（不执行 JS）。

if(navigator.userAgent.toLowerCase().indexOf('Bytespider') > -1){
    window.location.href = '/403.html';
}

同类爬虫同类型已审核数据 · 最多展示30条

Baidu Bing Google 360 Search 宜搜移动 DuckDuckGo Yahoo Seznam Yandex Mail.ru Yeti(NAVER) Daum Sogou web spider 宜搜移动宜搜图片 Apple Google图片 Lycos 宜搜渲染 Petal 宜搜视频 SeekportBot YaCy Findberry 可可图片 Coc Coc Qwant Ask.com Mojeek AOL