Netcraft - 椒图蜘蛛信息查询

Netcraft · 基础档案

爬虫名称

Netcraft

活跃状态

停用

Robots 协议

无视

爬虫价值

1

能力评估六维评分由档案字段映射生成，仅供参考

能力雷达图加载中...

爬虫介绍

Netcraft SSL certificate intelligence scanner（来源:crawler-user-agents）

细节参数请求头与抓取行为完整档案

名称

Netcraft

User-Agent

Netcraft

版本号

暂无

爬虫类型

安全检测

官方网址

https://knownagents.com/agents/netcraft-ssl-server-survey

抓取频率

未知

抓取深度

暂无

渲染能力

暂无

Accept 请求头

暂无

Accept-Language

暂无

Connection

暂无

Accept-Encoding

暂无

联系邮箱

暂无

首次出现

暂无

创建时间

2026-10-26 18:44:39

来路 IP 信息来自椒图采集网络的实测记录

共 17 条记录｜第 1 页 / 共 2 页

IP 地址	爬虫名称	访问时间
108.130.163.122	Netcraft	2026-10-08 21:07:03
3.253.196.231	Netcraft	2026-06-09 05:26:33
3.253.244.203	Netcraft	2026-05-05 12:04:17
3.253.244.208	Netcraft	2026-07-08 22:25:54
34.242.30.238	Netcraft	2026-03-07 11:47:46
34.243.204.153	Netcraft	2026-02-10 02:37:00
34.245.176.208	Netcraft	2026-02-10 00:16:35
34.247.33.143	Netcraft	2026-03-07 07:40:24
34.255.9.82	Netcraft	2026-05-05 13:18:40
52.213.135.159	Netcraft	2026-10-08 20:51:42

拦截 Netcraft 的方法五种方案按拦截强度与部署成本选择

1. robots.txt 禁止（标准方式，仅对合规爬虫有效）

通过网站根目录的 robots.txt 声明禁止该爬虫访问，简单标准；恶意爬虫会无视该规则。

User-agent: Netcraft
Disallow: /

2. Nginx / Apache 根据 UA 拉黑（服务器级拦截，效率高）

在服务器配置中直接匹配爬虫 UA 返回 403，不消耗应用资源；需修改服务器配置。

if ($http_user_agent ~* (Netcraft)) {
    return 403;
}

3. .htaccess 禁止（Apache 专属，虚拟主机常用）

通过 .htaccess 规则拦截指定 UA，无需修改主配置；仅适用于 Apache 服务器。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Netcraft) [NC]
RewriteRule ^ - [F,L]

4. PHP / 后端判断 UA 拦截（灵活定制，适配所有环境）

在 PHP 代码中判断访问者 UA，命中后返回 403，灵活可定制；会消耗应用服务器资源。

$ua = $_SERVER['HTTP_USER_AGENT'];
if (stripos($ua, 'Netcraft') !== false) {    header('HTTP/1.1 403 Forbidden');    exit;
}

5. JS 屏蔽（前端拦截，仅挡普通爬虫）

前端 JavaScript 检测 UA 并跳转 403 页面，简单易实现；高级爬虫可绕过（不执行 JS）。

if(navigator.userAgent.toLowerCase().indexOf('Netcraft') > -1){
    window.location.href = '/403.html';
}

同类爬虫同类型已审核数据 · 最多展示30条

BitSight 阿里云安全 Netcraft扫描 Sucuri（GoDaddy） Tenable nessus CIRT.net sqlmap Nmap Scripting Engine Censys/斯坦福 masscan WPScan团队 Arachni w3af Kangaroo Bot Invicti Greenbone CensysInspect Shodan 阿里云 antibot CyberPatrol ec2linkfinder ip-web-crawler binlar ltx71 SafeDNSBot Jugendschutzprogramm-Crawler filterdb SBL-BOT K7MLWCBot