JIAOTU · SPIDERBOTS MANUAL
椒图蜘蛛监控 · 使用说明书
版本：V1.2（内部版本号 20261026） · 环境：PHP 5.4+ / MySQL 5.5+ · 独立部署于站长网站
一、系统简介
「椒图」取传统文化“镇守门户”之意：性好闭，饰于门户以求平安，镇守邪妖，忠于职守。我们愿如椒图一般，为你的网站守好“大门”，守护网站爬虫访问的安宁与秩序。椒图整合 spiderbots（蜘蛛信息抓取）、pivot（数据可视化分析）、robots（智能生成 robots.txt）三大核心模块，以可视化操作、全量蜘蛛样本覆盖为核心特点，帮助开发者与运营者高效管理网站爬虫访问策略。
椒图蜘蛛监控是一套部署在你自己网站上的蜘蛛访问采集与管理工具：自动识别来访搜索引擎蜘蛛与真人访客，记录 IP、URL、系统、浏览器与来源；支持将采集到的蜘蛛 IP 一键推送至椒图生态（jiaotu.wanyouhui.com），与全网站长共建共享蜘蛛样本库。
spiderbots蜘蛛信息抓取
pivot数据可视化分析
robots智能生成 robots.txt
生态共享样本回馈椒图生态
二、文件清单
| 文件 | 说明 |
|---|
| spiderbots_setup.php | 一键安装向导：配置数据库与管理密码、自动建表、生成配置文件（安装完成后建议删除） |
| spiderbots_conn.php | 配置文件（由安装向导自动生成：数据库连接、管理密码、内部版本号；推送地址已固定为椒图生态） |
| spiderbots.php | 采集端（PHP 方式，文件名保持不变，被站长页面 include） |
| spiderbots.js | 采集端（JS 埋点方式，支持纯静态页面） |
| spiderbots_collect.php | JS 埋点接收端（与 spiderbots.php 共用识别库） |
| spiderbots_identify.php | 识别共享库 · 冷热双层调度器（热表优先 → 浏览器快速通道 → 冷表按需加载） |
| spiderbots_identify_hot.php | 热表：400 条主流蜘蛛映射（Google / 百度 / AI 爬虫 / 社交平台等，每请求加载） |
| spiderbots_identify_low.php | 冷表：6600+ 条冷门蜘蛛关键词（热表未命中时才加载，长词优先匹配） |
| spiderbots_keep.json | 保底蜘蛛列表（预设 166 条热门蜘蛛；清空数据时自动把抓到的新蜘蛛并入，永不丢失） |
| spiderbots_robots.php | 数据管理：访问记录列表 + robots.txt 生成器（蜘蛛勾选列表来自保底数据，保存前自动备份，可恢复） |
| spiderbots_pivot.php | 数据透视：多维统计 + CSV 导出 + 按天数清除（清除前自动执行「数据保留」）+ 表空间超限提醒 + 新版本检测 |
| spiderbots_push.php | 数据推送：单条推送 / 批量分波推送（每批 10 个自动连续推送，进度条显示成功/失败计数） |
| spiderbots_style.css | 暗色科技风样式表（套件自带，独立运行） |
| spiderbots_verify.php | 登录守卫（各管理页 include，48 小时有效） |
| spiderbots_login.php | 登录页（账号 jiaotu + 安装时设置的管理密码） |
| spiderbots_manual.html | 本说明书 |
三、安装步骤
① 上传将整套文件上传到网站根目录（生成 robots.txt 需写入根目录才对全站生效；子目录部署时只能生成该目录下的 robots.txt），确保目录可写（用于生成配置与备份）
② 安装浏览器访问 http://你的域名/spiderbots_setup.php，填写数据库信息与管理密码，点击「开始安装」（推送地址已内置固定，无需填写）
③ 自动完成安装器自动创建 robots 表（含主键自增与查询索引），并生成 spiderbots_conn.php；若表已存在会自动补 push 字段与索引
④ 接入按安装完成页展示的代码，把采集端接入你的网站页面（见下节）
⑤ 收尾安装成功后建议删除 spiderbots_setup.php（安装器在配置文件存在时会自动锁定，删除更安心）
四、接入采集端（两种方式可并存）
方式一：PHP 页面嵌入（推荐）
在需要监控的 PHP 页面尾部加入：
<?php
// 椒图蜘蛛采集
include('spiderbots.php');
?>
方式二：JS 埋点（支持纯静态 HTML）
像接入统计代码一样，在页面尾部加入：
<script src="/spiderbots.js"></script>
JS 方式以图片 beacon 请求 spiderbots_collect.php，无跨域限制、不阻塞页面；访客 IP 与 User-Agent 由服务端获取，识别逻辑与 PHP 方式完全一致。
五、功能说明
数据管理（spiderbots_robots.php）
- 访问记录：按 IP / 爬虫 / 操作系统 / 浏览器筛选，查看每条访问的 URL、时间与推送状态
- robots.txt 生成器：勾选爬虫（取消勾选=禁止）、添加禁止路径、套用预设模板，右侧实时预览
- 保存与备份：点「保存到服务器」会先把现有 robots.txt 备份为 robots.年月日-时分秒.txt 再写入；备份列表支持一键恢复（恢复前当前文件也会先备份）与删除
数据透视（spiderbots_pivot.php）
- 统计卡：总记录 / 蜘蛛种类 / 真人独立 IP / 今日访问 / 表占用空间
- 维度分析：蜘蛛访问量 Top10、热门 IP、操作系统、浏览器分布、24 小时访问分布
- 导出 CSV：全部数据导出下载（UTF-8 BOM，Excel 直接打开不乱码）
- 按天数清除：可选清除 7 / 15 / 30 / 90 / 365 天之前的数据或清空全部；默认勾选「清除前先导出备份 CSV」到本目录
数据推送（spiderbots_push.php）
- 列出 push=1 且非真人/未知的蜘蛛 IP（按 IP 去重），每行可单独推送
- 批量推送：每批 10 个自动连续推送下一波，进度条实时显示已推送数量与成功/失败计数（不展示具体明细）
- 生态端确认入库（100 成功 / 200 已存在）计为成功；无论结果如何均标记为已推送，避免重复
- 页面每 100 秒自动刷新（推送进行中暂停刷新）
版本升级提醒
- 安装时写入内部版本号（当前 20261026）；每次访问数据透视页会自动检测官网 version.txt
- 官网内部版本号更高时弹出升级提示层，点击可直达 jiaotu.wanyouhui.com 获取升级包
六、常见问题
- 忘记管理密码？删除 spiderbots_conn.php 后重新访问安装向导即可重设；robots 表数据不受影响（不要勾选清空）
- 采集不到数据？检查页面是否正确 include / 引入；PHP 方式需页面为 .php 且 include 放在输出之后仍可执行的位置（推荐文件最尾部）；静态页请使用 JS 方式
- 推送地址是什么？已内置固定为椒图生态（jiaotu.wanyouhui.com/insert.php），无需修改；生态端异常时推送会计为失败但不影响本站数据
- robots 表太大？在数据透视页按天数清除历史数据（表占用超 5MB 会红色提醒），建议保留 30 天
- 与站上其他程序重名？本套件除采集端 spiderbots.php 保持原名外（站长已嵌入无需改动），其余文件均带 spiderbots_ 前缀