椒椒图蜘蛛信息查询
JIAOTU · MANUAL V1.2

蜘蛛监控与维护系统 使用说明书

版本：V1.2（内部版本号 20261026） · 环境：PHP 5.4+ / MySQL 5.5+ · 独立部署于站长网站

一、系统简介

「椒图」取传统文化“镇守门户”之意：性好闭，饰于门户以求平安，镇守邪妖，忠于职守。我们愿如椒图一般，为你的网站守好“大门”，守护网站爬虫访问的安宁与秩序。椒图整合 spiderbots（蜘蛛信息抓取）、pivot（数据可视化分析）、robots（智能生成 robots.txt）三大核心模块，以可视化操作、全量蜘蛛样本覆盖为核心特点，帮助开发者与运营者高效管理网站爬虫访问策略。

椒图蜘蛛监控是一套部署在你自己网站上的蜘蛛访问采集与管理工具：自动识别来访搜索引擎蜘蛛与真人访客，记录 IP、URL、系统、浏览器与来源；支持将采集到的蜘蛛 IP 一键推送至椒图生态（jiaotu.wanyouhui.com），与全网站长共建共享蜘蛛样本库。

spiderbots蜘蛛信息抓取
pivot数据可视化分析
robots智能生成 robots.txt
生态共享样本回馈椒图生态

二、文件清单

文件说明
spiderbots_setup.php一键安装向导：配置数据库与管理密码、自动建表、生成配置文件（安装完成后建议删除）
spiderbots_conn.php配置文件（由安装向导自动生成：数据库连接、管理密码、内部版本号；推送地址已固定为椒图生态）
spiderbots.phpPHP 采集端：站长在页面尾部 include 引入，抓取蜘蛛/真人访问写入 robots 表
spiderbots_collect.phpJS 埋点采集端：接收 spiderbots.js 的 beacon 请求，与 PHP 方式等效
spiderbots.jsJS 埋点脚本：以图片 beacon 方式上报，无跨域限制、不阻塞页面
spiderbots_identify.php识别共享库 · 冷热双层调度器（热表优先 → 浏览器快速通道 → 冷表按需加载）
spiderbots_identify_hot.php热表：400 条主流蜘蛛映射（每请求加载）
spiderbots_identify_low.php冷表：6600+ 条冷门蜘蛛关键词（热表未命中时才加载，长词优先匹配）
spiderbots_keep.json保底蜘蛛列表（预设 166 条热门蜘蛛；清空数据时自动把抓到的新蜘蛛并入，永不丢失）
spiderbots_robots.php数据管理：访问记录列表 + robots.txt 生成器（蜘蛛勾选列表来自保底数据，保存前自动备份，可恢复）
spiderbots_pivot.php数据透视：多维统计 + CSV 导出 + 按天数清除（清除前自动执行「数据保留」）+ 表空间超限提醒 + 新版本检测
spiderbots_push.php数据推送：单条推送 / 批量分波推送（每批 10 个自动连续推送，进度条显示成功/失败计数）
spiderbots_style.css暗色科技风样式表（套件自带，独立运行）
spiderbots_verify.php登录守卫（各管理页 include，48 小时有效）
spiderbots_login.php登录页（账号 jiaotu + 安装时设置的管理密码）
spiderbots_manual.html套件内置说明书（与本文档同步）

三、安装部署

① 上传　将整套文件上传到网站根目录（生成 robots.txt 需写入根目录才对全站生效；子目录部署时只能生成该目录下的 robots.txt），确保目录可写（用于生成配置与备份）
② 安装　浏览器访问 http://你的域名/spiderbots_setup.php，填写数据库信息与管理密码，点击「开始安装」（推送地址已内置固定，无需填写）
③ 接入　安装完成页提供两种接入代码（PHP include / JS 嵌入），复制到你需要监控的页面尾部
④ 登录　访问 spiderbots_login.php，账号 jiaotu + 安装时设置的管理密码，登录后台（48 小时会话有效）
⑤ 收尾　安装器在生成配置后会自动锁定；建议确认后台可正常访问后删除 spiderbots_setup.php

部署验证

  1. 访问嵌入了采集代码的页面，然后打开「数据管理」（spiderbots_robots.php）查看访问记录是否产生
  2. 打开「数据透视」（spiderbots_pivot.php）确认统计卡有数据
  3. 打开「数据推送」（spiderbots_push.php），先单条推送测试生态端连通，再批量推送
识别规则：识别为蜘蛛的访问 push 标记为 1（待推送）；带来源页（referer）的访问判定为真人，不会被推送；同一 IP 历史上出现过真人记录后，后续访问也标记为真人。

四、两种接入方式

方式 A：PHP include（推荐，准确率最高）

<?php include('spiderbots.php'); ?>

方式 B：JS 埋点（适合静态页 / 无法改 PHP 的场景）

<script src="/spiderbots.js"></script>

JS 方式以图片 beacon 请求 spiderbots_collect.php，无跨域限制、不阻塞页面；访客 IP 与 User-Agent 由服务端获取，识别逻辑与 PHP 方式完全一致。

五、功能说明

数据管理（spiderbots_robots.php）

数据透视（spiderbots_pivot.php）

数据推送（spiderbots_push.php）

六、界面展示

椒图系统核心界面展示：

1. 蜘蛛拦截系统主界面
椒图-蜘蛛拦截系统主界面
2. 数据透视分析界面
椒图-数据透视分析界面
3. 数据记录汇总界面
椒图-数据记录汇总界面
3. 数据推送回馈界面
椒图-数据推送回馈界面

七、程序下载

下载数据

程序更新

注意事项

八、常见问题

九、重要注意事项

⚠️ 安全与使用提醒
椒图蜘蛛监控 使用说明书 | 版本：V1.2（内部版本号 20261026） | 部署环境：PHP + MySQL 爬虫大全 · API 接口