气象数据的常用格式以及处理的工具

这次我们来简单了解下气象数据常用的格式以及处理的工具，常用的数据格式包括普通的二进制格式、文本数据、NetCDF、HDF4/5以及GRIB1/2数据。我们可以利用编程语言例如python、matlab以及c语言，根据数据的说明文档或者相应的数据api开发文档进行读取，此外我们也可以根据提供的command命令行进行高效提取数据。

二进制文件和文本数据
  气象中的二进制文件是指利用ASCII及扩展ASCII字符编写的数据或程序指令的文件，一般没有格式，用文本编辑器打开只能看到无意义的乱码，需要特定的解码说明才能使用，例如气象雷达的数据；文本数据的以记录的形式存在，每一条记录是以ASCIIVS的回车符CR（OD）加换行符LF（OA）来结束的，可以用文本编辑器查看，但也需要变量的说明文档，例如NOAA提供的ghcn以及isd数据都需要进行处理提取数据
IR000407540.dly 文本数据
IR000407540194406PRCP -9999 -9999 10 S 0 S-9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -
python

NetCDF(Network Common Data Form)
  NetCDF数据是常用的气象和卫星数据存储的数据格式，结构形式包含维数、变量、属性和数据四个子域,公众号前几期有过利用python对netCDF数据处理的介绍，有感兴趣的同学可以关注公众号查看历史精彩文章使用python处理NetCDF格式文件，这里介绍大家利用CDO如何处理netCDF格式的文件
  CDO（Climate Data Operators）是用来处理气候数据的命令行的集合，支持netCDF3/4以及Grib1/2数据格式，常用功能：


GRIB1和GRIB2文件
  GRIB（GRIdded Binary）和GRIB2（General Regularly-distributed Information in Binary Form）是与计算机无关的压缩的二进制编码，主要用来存放数值天气分析和预报产品资料。处理grib文件的常用工具包pygrib，Grib格式数据处理有详细介绍，gribapi也自带python接口，可以通过ECMWF提供的ecCodes或cgrib安装包进行安装使用。此外利用wgrib以及wgrib2命令行工具也可以高效处理grib文件。
  

HDF、HDF-EOS、HDF5和HDF-EOS5
  HDF(Hierarchical Data Format)数据格式是一种具有自描述性、可扩展性、自我组织形的数据存储格式。HDF5数据克服了HDF4的不足，可以支持超过2G大小的文件，以及并行I/O；HDF-EOS是NASA开发专门处理EOS产品，可以有效的存储地理定位数据。HDF、HDF-EOS、HDF5和HDF-EOS5数据多用于卫星资料的存储和发布。
  

本文分享自微信公众号 - MeteoAI（meteoai），作者：Young

原文出处及转载信息见文内详细说明，如有侵权，请联系 [email protected] 删除。

原始发表时间：2019-01-28