椒图蜘蛛监控与维护系统 V 1.01 使用说明书

蜘蛛监控与数据推送系统 - 快速部署与使用指南

一、系统说明

椒图系统是一款轻量级的网站蜘蛛监控与数据管理工具，解决很多企业官网、内容平台都面临一个共性问题：要么被恶意爬虫消耗大量服务器资源，拖慢网站访问速度；要么因 robots.txt 配置不当导致搜索引擎抓取异常，直接影响网站 SEO 排名。市面上的爬虫管理工具要么功能繁杂、收费高昂，要么仅能实现单一的爬虫识别，无法覆盖「抓取 - 分析 - 配置」全流程，中小站长和非技术运营人员很难上手。基于这个行业痛点，我们用 PHP+MySQL 开发了一款极简高效的网络爬虫管理工具 —— 椒图（Jiaotu），取名源自传统文化中 “镇守门户” 的瑞兽，寓意为网站守住爬虫访问的 “大门”。目前工具已正式上线运行。
系统核心功能包括：

系统基于 PHP + MySQL 开发，部署简单，无需复杂配置，开箱即用，兼容主流的服务器环境。

二、安装部署

2.1 数据库表创建

在部署前，需先在MySQL数据库中执行以下SQL语句创建数据存储表：

CREATE TABLE IF NOT EXISTS `robots`
执行方式：可通过phpMyAdmin、Navicat等数据库管理工具执行，或通过MySQL命令行执行 导入robots.sql 。

2.2 修改数据库连接配置

编辑 data.php 文件，修改以下数据库连接信息，确保与你的实际数据库匹配：

<?php
$servername = "127.0.0.1";
$username = "jiaotu";
$password = "wanyouhui";
$dbname = ".com";
?>
注意：请务必将 $dbname 修改为实际的数据库名称，且确保数据库账号具备增删改查权限。

2.3 修改登录密码

编辑 login.php 文件，修改默认的登录账号和密码，提升系统安全性：

// 预设账号和密码
$valid_username = 'jiaotu';
$valid_password = '888888';

默认登录信息（部署后请立即修改）：
账号：jiaotu | 密码：888888

2.4 嵌入数据采集代码

将以下代码嵌入到你需要监控的所有页面尾部，实现蜘蛛访问数据的采集：

<?php // 引入蜘蛛数据采集脚本 include('spiderbots.php'); ?>
路径说明：确保 spiderbots.php 文件路径正确，若文件不在同级目录，需填写完整路径（如 include('/path/to/spiderbots.php')）。

2.5 部署验证

  1. 将所有系统文件上传至网站根目录
  2. 访问 login.php，使用修改后的账号密码登录，验证登录功能
  3. 访问嵌入采集代码的页面，然后打开 robots.php 查看是否有数据采集
  4. 访问 push.php 测试数据推送功能是否正常

三、界面展示

椒图系统核心界面展示

1. 蜘蛛拦截系统主界面

椒图-蜘蛛拦截系统截图

2. 数据透视分析界面

椒图-数据透视系统截图

界面功能说明：

四、程序介绍

椒图系统由多个功能模块组成，各文件功能如下：

spiderbots.php - 数据采集核心文件

作用：系统的数据采集引擎，负责识别访问者类型、记录IP地址、访问时间、访问URL等关键信息并写入数据库。

robots.php - 爬虫数据管理页面

作用：核心展示页面，可视化展示所有采集到的爬虫数据，支持数据筛选、查看、管理等操作。

pivot.php - 数据透视分析页面

作用：对采集的原始数据进行统计分析，生成可视化的统计报表，帮助用户了解爬虫访问规律。

push.php - 数据推送页面

作用：将本地采集的爬虫数据同步推送至椒图核心系统，实现数据共享和统一管理。

4.1 核心功能亮点

4.2 运行环境要求

五、程序下载

5.1 下载数据

5.2 程序更新

5.3 注意事项

六、重要注意事项

⚠️ 安全与使用提醒