NaverWeatherBot 是韩国最大搜索引擎 Naver(네이버)旗下专注于气象数据采集的专用爬虫,核心用于抓取全球各地区气象网站的天气数据、预警信息、空气质量等内容,为 Naver 天气频道(Naver Weather)提供实时数据源。该爬虫仅定向抓取气象相关公开页面,不会爬取无关内容,是 Naver 本地化服务体系中重要的数据采集组件,主要服务于韩国及东亚地区用户,抓取行为严格限定在气象领域,对非气象类网站访问频率极低。
通过网站根目录的 robots.txt 声明禁止该爬虫访问,简单标准;恶意爬虫会无视该规则。
在服务器配置中直接匹配爬虫 UA 返回 403,不消耗应用资源;需修改服务器配置。
通过 .htaccess 规则拦截指定 UA,无需修改主配置;仅适用于 Apache 服务器。
在 PHP 代码中判断访问者 UA,命中后返回 403,灵活可定制;会消耗应用服务器资源。
前端 JavaScript 检测 UA 并跳转 403 页面,简单易实现;高级爬虫可绕过(不执行 JS)。