Internet Measurement - 椒图蜘蛛信息查询

Internet Measurement · 基础档案

爬虫名称

Internet Measurement

活跃状态

活跃

Robots 协议

遵守

爬虫价值

1

能力评估六维评分由档案字段映射生成，仅供参考

能力雷达图加载中...

爬虫介绍

Internet Measurement 类爬虫是面向网络性能、拓扑结构、流量特征等互联网基础数据测量的专业爬虫，核心用于学术研究、网络运维分析及互联网生态监测，而非商业数据抓取。该类爬虫聚焦网络层和应用层数据采集，常由高校、科研机构或网络运营商开发维护，旨在客观反映互联网基础设施的运行状态。

细节参数请求头与抓取行为完整档案

名称

Internet Measurement

User-Agent

Internet Measurement

版本号

1.8.2

爬虫类型

网络爬虫

官方网址

ttps://measurement-lab.org/

抓取频率

极低，单 IP 对单站点日均≤10 次

抓取深度

1 层（仅抓取目标页面 / 节点，不递归抓取）

渲染能力

无，仅抓取纯文本 / 网络层数据，不渲染 JS/CSS

Accept 请求头

text/plain, application/json, /;q=0.8

Accept-Language

en-US,en;q=0.9

Connection

暂无

Accept-Encoding

gzip, deflate, br

联系邮箱

contact@measurement-lab.org

首次出现

2000年

创建时间

2026-03-03 12:20:20

来路 IP 信息来自椒图采集网络的实测记录

共 27 条记录｜第 1 页 / 共 3 页

IP 地址	爬虫名称	访问时间
185.247.137.101	Internet Measurement	2026-03-30 20:02:45
185.247.137.102	Internet Measurement	2026-09-22 07:55:23
185.247.137.110	Internet Measurement	2026-04-10 09:50:51
185.247.137.157	Internet Measurement	2026-04-27 02:26:38
185.247.137.20	Internet Measurement	2026-05-01 13:30:04
185.247.137.205	Internet Measurement	2026-05-11 06:27:35
185.247.137.221	Internet Measurement	2026-02-21 21:58:41
185.247.137.223	Internet Measurement	2026-08-22 12:20:24
185.247.137.243	Internet Measurement	2026-06-06 21:42:38
185.247.137.81	Internet Measurement	2026-07-15 21:49:42

拦截 Internet Measurement 的方法五种方案按拦截强度与部署成本选择

1. robots.txt 禁止（标准方式，仅对合规爬虫有效）

通过网站根目录的 robots.txt 声明禁止该爬虫访问，简单标准；恶意爬虫会无视该规则。

User-agent: Internet Measurement
Disallow: /

2. Nginx / Apache 根据 UA 拉黑（服务器级拦截，效率高）

在服务器配置中直接匹配爬虫 UA 返回 403，不消耗应用资源；需修改服务器配置。

if ($http_user_agent ~* (Internet Measurement)) {
    return 403;
}

3. .htaccess 禁止（Apache 专属，虚拟主机常用）

通过 .htaccess 规则拦截指定 UA，无需修改主配置；仅适用于 Apache 服务器。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Internet Measurement) [NC]
RewriteRule ^ - [F,L]

4. PHP / 后端判断 UA 拦截（灵活定制，适配所有环境）

在 PHP 代码中判断访问者 UA，命中后返回 403，灵活可定制；会消耗应用服务器资源。

$ua = $_SERVER['HTTP_USER_AGENT'];
if (stripos($ua, 'Internet Measurement') !== false) {    header('HTTP/1.1 403 Forbidden');    exit;
}

5. JS 屏蔽（前端拦截，仅挡普通爬虫）

前端 JavaScript 检测 UA 并跳转 403 页面，简单易实现；高级爬虫可绕过（不执行 JS）。

if(navigator.userAgent.toLowerCase().indexOf('Internet Measurement') > -1){
    window.location.href = '/403.html';
}

同类爬虫同类型已审核数据 · 最多展示30条

Google AdSense Infoseek omgilibot NetcraftSurveyAgent GigablastOpenSource IndeedJobBot psbot Sabsim MetaJob Charlotte WbSrch Anthill PrizmBot JikibangBot NaverMapBot NaverWeatherBot TikiBot SendoSpider VnexpressBot ZingNewsBo Shopee LazadaVNBot Buho Auyantepui Chevere Piranha Yuada GobiernoVenezuela UCV-Crawler CONATEL-Bot