`
umbrellall1
  • 浏览: 146316 次
  • 性别: Icon_minigender_1
  • 来自: 成都
文章分类
社区版块
存档分类
最新评论

解析grib 文件遇到的问题

 
阅读更多
之前用的是ucar.grib 解析包,再解析过程中发现 存储的数据每次有 重复数据 = 原始数据*2
原来以为我的代码逻辑有问题后面debug 的时候Grib2Input的getRecords条数始终是原始数据的2倍,所以在便利过程中数据就出现了重复数据,经过仔细盘查后发现自己解决的grib 文件后缀是grib2 但是为什么程序会给我一个2倍条数的数据呢,于是又去翻查API 发现有一项API
 RandomAccessFile raf = new RandomAccessFile(file.getPath(), "r");
  raf.order(RandomAccessFile.BIG_ENDIAN);
 Grib2Input input = new Grib2Input(raf);
 input.getEdition();

input.getEdition(); 这个方法返回grib 文件类型 当执行这句话后getRecords的返回条数就正常了。原以为这个bug被完美解决,但是放上去测试和时候发现解析性能很低,又排查问题发现执行了getEdition 这个方法后  input.scan(false, false); 这个会去全表扫描相当于 这个扫描一次 然后你遍历时候又一次。每次执行都很慢。

最后只能判断girb 类型 然后根据类型自己去做 页数判断,最后解决的方案
分享到:
评论

相关推荐

    Java读取解析GRIB2文件

    处理GRIB2文件时,可能会遇到编码错误、格式问题或数据不匹配。确保有适当的错误处理机制,如异常捕获,并利用日志记录进行调试。 以上就是使用Java读取和解析GRIB2文件的基本步骤和涉及的关键技术。实际应用中,...

    GRIB2 数据 转 JSON

    转换过程中,工具会解析GRIB2的编码,将其解码为JSON对象,其中包含了原始数据的元数据和数值。JSON输出可能包含以下结构: ```json { "message": [ { "productKind": "xxx", "parameter": "yyy", "location":...

    grib2转json(内附源码及架包)

    "readme (2).txt"通常包含关于如何使用该工具、依赖项、安装步骤以及可能遇到的问题等重要信息,用户应当首先阅读这个文件以了解整个工具的概况和使用细节。 在处理GRIB2到JSON转换的过程中,可能涉及的关键技术点...

    基于MATLAB实现3种气象数据的读取和绘图 .pdf

    在MATLAB中处理GRIB数据,通常需要使用专门的工具箱或第三方库来读取和解析GRIB文件中的数据。一个常用的方法是安装和调用“wradlib”这个Python库,但MATLAB用户可能需要通过MATLAB的Python接口来实现此功能。 ...

    wgrib2相关安装文件.rar

    wgrib2不仅能够解码GRIB文件,还能将这些数据转换成其他格式,如净CDF(Network Common Data Format)、文本或图形。 标题“wgrib2相关安装文件.rar”表明这是一个包含wgrib2软件安装文件的压缩包。由于描述中提到...

    GRIB.jl:Julia的GRIB接口

    1. **读取GRIB文件**:GRIB.jl提供了函数来加载GRIB文件,将其中的数据解析为Julia数组,便于进一步的计算和分析。这使得用户可以直接在Julia环境中处理气象或其他环境科学数据。 2. **数据结构**:库内定义了与...

    GribCS-开源

    6. **错误处理**:良好的错误处理机制,帮助开发者在遇到问题时快速定位和解决。 在 GribCS 中,`gribcs.dll` 文件是库的核心组件,包含了实现 GRIB 文件读取和处理的所有功能。而 `JpcDecoder.dll` 可能是用来解码...

    【MATLAB扩展包】-wgrib2-1.9.2.zip

    4. **错误处理与调试**:在处理大型或复杂数据时,可能会遇到问题,学会调试和优化代码是必要的。 通过这个扩展包,MATLAB用户能够更便捷地访问和分析GRIB2数据,这对于气象学、气候模型验证以及环境科学研究等领域...

    Python库 | cfgrib-0.9.8.5.tar.gz

    1. **GRIB文件读取**:cfgrib库提供了一个简单易用的API,可以读取GRIB文件中的单个或者多个消息,将它们转化为Pandas DataFrame,便于进一步的数据分析和处理。 2. **GRIB文件写入**:除了读取,该库还支持将...

    GRB2网格预报数据发布影像服务.zip_.grb数据_Arcpy_GRB2格式数据_arcgis 气象_气象数据

    在发布服务时,可能会遇到性能优化的问题。比如,为了提高服务响应速度,可以考虑对栅格数据进行金字塔构建或预缓存。此外,还可以通过设置合适的切片大小、时间步长和数据更新频率来优化服务的性能。 最后,文档...

    wgrib2.exe.v2.0.3

    wgrib2.exe.v2.0.3是一款强大的工具,主要用于处理和解析GRIB(GRIdded Binary)和GRIB2格式的数据。GRIB是一种广泛使用的气象和气候数据存储标准,由世界气象组织(WMO)制定。GRIB1和GRIB2是两个不同的版本,其中...

    grub4dos软件0.4.4版

    **四、压缩包文件解析** 在提供的压缩包文件中,我们看到以下文件: 1. **AUTOEXEC.BAT**:这是一个DOS时代的自动批处理文件,当DOS系统启动时会自动执行其中的命令。 2. **COMMAND.COM**:这是DOS的核心命令解释...

    hd_wish.zip

    - 错误可以通过error_log()函数记录到日志文件,便于调试和分析问题。 8. PHP安全实践: - 防止XSS(跨站脚本攻击)和CSRF(跨站请求伪造)攻击,对用户输入进行过滤和验证。 - 使用密码哈希算法存储用户密码,...

    数值预报产品分布式处理与存储系统设计.pdf

    HDFS用于存储解码日志文件、源产品文件和要素GRIB文件;MapReduce用于将解码日志记录存入HBase;HBase则用于快速读写操作,尽管其对多条件查询支持不足,但通过Solr索引的优化可以达到多条件查询的需求。 3. 关键...

    java-任何类型转换成json数据格式

    在现代Web开发中,JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成。在Java应用中,经常会遇到需要将Java对象或集合等数据结构转换为JSON字符串的需求...

    PyPI 官网下载 | ecmwf_api_client-1.5.3-py3-none-any.whl

    5. **错误处理**:在使用过程中,可能会遇到网络问题、API限制或者无效请求。ECMWF API客户端库会提供适当的异常处理机制,帮助开发者识别并解决这些问题。 6. **版本控制**:"1.5.3"是这个库的版本号,这意味着它...

    Python库 | ecmwflibs-0.3.5-cp39-cp39-macosx_10_14_x86_64.whl

    此外,Python社区和Stack Overflow等在线平台通常会有丰富的资源和问题解答,帮助用户解决在使用过程中遇到的问题。 总结来说,`ecmwflibs` 是一个专为处理ECMWF气象数据设计的Python库,它简化了数据的获取、解析...

    MATLAB在大气科学中的应用

    1. **数据读取与处理**:大气科学研究中经常会遇到不同类型的数据格式,如NetCDF、GRIB等。MATLAB提供了相应的工具箱,使得用户能够轻松地读取并处理这些数据。例如,NetCDF工具箱可以帮助科研工作者读取、解析并...

    NCDC气象数据的提取与处理(二)范例数据

    这些数据通常以多种格式存在,如净CDF(Network Common Data Format)、ASCII文本或GRIB等。本范例中可能包含的原始数据文件可能就是这些格式中的一种或几种,用于表示温度、湿度、风速、气压等气象参数。 数据处理...

    check_ec.rar_micaps

    1. **Micaps系统**:了解Micaps的基本结构、数据处理流程和图表生成方法,包括如何导入和解析不同格式的气象数据,以及如何通过系统内置的函数或自定义模块生成图形。 2. **欧洲数值模式(ECMWF)**:理解ECMWF的...

Global site tag (gtag.js) - Google Analytics