全国智慧农业气象服务平台数据存储规范VIP专享VIP免费

1/17全国智慧农业气象服务平台数据存储规范（试行）中国气象局2016年11月前言全国智慧农业气象服务平台综合数据存储规范的制定2/17以《气象结构化数据存储规范（初稿）》、《全国农业气象数据库环境技术规范（试行）》和《全国精细化气象格点预报数据规范》为基础，依托中国气象局CIMISS云平台，是对《气象结构化数据存储规范（初稿）-农业气象分册》、《全国农业气象数据库环境技术规范（试行）》的补充和完善，是全国智慧农业气象服务平台的数据参考规范。主要包括基础气象资料库、农业气象观测数据库、农业气象专题产品库、农业气象野外调查数据库、用户采集数据库、农业气象背景数据库。智慧农业气象数据库存储数据类型有站点数据、格点数据、Word文档、图片数据和视频数据五类。智慧农业气象数据存储规范1.范围本规范规定了智慧农业气象数据存储规范，包括地面气象数据、土壤数据、农业气象观测数据、农业气象灾害数据、农业气象采集数据、农业气象数值产品、农业气象服务产品和台站信息等数据的表结构、索引、分区方式等内容。本规范适用于气象结构化数据的存储管理。不论选用传统关系型数据库，还是选用分布式关系型数据库进行存储，都可使用该规范。2.术语与定义(1)数据库meteorologicaldatabase3/17数据库是按照预定结构组织成的气象信息的集合，本规范涉及气象、土壤、农业气象、农业气象灾害、农业气象产品和台站信息六类数据库。(2)表结构table表是数据库内部的数据存储机制。表含有一组固定的列。表中的列描述该表所跟踪的实体的属性。(3)索引index索引是对数据库表中一列或多列的值进行排序的一种结构。(4)分区partition分区是数据库基于性能和可扩展性等因素的考虑将一个大数据表分为独立的若干小表。3.规范技术说明对于智慧农业气象数据的存储管理，不论是选用传统关系型数据库，还是选用分布式关系型数据库，都需要设计数据存储的三项最基本内容，即表结构、索引和分区。表结构用于定义数据的组成和要素存储类型，索引和分区用于优化数据检索和管理性能。(1)表结构表结构定义数据包含的各要素字段，包括要素名称、字段编码、数据类型、约束（是否为主键、是否可空）、以及字段的赋值说明等。其中，字段编码源自BUFR码，进行了适当扩展。数据类型主要包括NUMBER、CHAR/VARCHAR2和DATE三种。4/17要素字段包括用于辅助存储管理的管理型字段（如资料标识、入库时间、更新时间等）和气象要素数据字段（如温、压、湿、风、降水等）。(2)索引索引分为两种，即唯一索引和一般索引。唯一索引，是为了避免数据表中存在重复的键值，一般设计为一个；唯一索引也具备与一般索引一样的加速检索能力。一般索引，是为了提高应用检索效率，将常用的检索字段设计为索引，可设计为一个或多个。智慧农业气象数据的唯一索引，一般由站点、观测时间、层次等时空字段组成。一般索引，则由常用应用场景的检索字段组成。(3)分区气象数据具有时空密度高的特点，因此数据规模较大。为提高存储管理性能，大部分数据表都需要进行分区。一般都按时间范围进行分区，依据数据的规模大小，分区粒度可选择为月、日和小时。4.基于站点的资料存储规范4.1.中国地面气象资料中国地面气象资料包含地面实况气象资料和预报气象资料两类，其中，实况资料包括气象要素日值实况、小时值实况和气候标准值；预报资料为精细化城镇预报产品。数据表中文名、表格5/17中文名称、名称编码和说明见下表。具体表结构见附件1-中国地面实况与预报气象资料表。表清单序号表中文名称名称编码说明1中国地面气象日值实况SURF_CHN_MUL_DAY_TAB同《气象结构化数据存储规范（初稿）》中4.1.7一致2中国地面气象日值气候标准值SURF_CHN_MUL_YES_TAB新建3中国精细化城镇预报资料SEVP_CHN_WEFC_RFFC_TAB新建4中国地面气象小时实况SURF_CHN_MUL_HOR_TAB同《气象结构化数据存储规范（初稿）》中4.1.2一致5中国日照资料SURF_CHN_SH_HOR_TAB同《气象结构化数据存储规范（初稿）》中4.1.13一致4.2.土壤资料土壤资料包括土壤土壤水文物理特性、土壤相对湿度、土壤水分总储存量、有效水分储存量、土壤冻结与解冻、土壤地温小时值、土壤地温日...