首页 >> 专题专栏管理 >> 长江水文信息化建设 >> 水文局三年信息化建设成果报道之三 >> 正文

水文局三年信息化建设成果报道之三
  稿件来源:网络信息中心  发布时间:2017-12-21  作者:网络信息中心  编辑:信息科

编者按:王俊局长在2015年工作报告中指出:水文信息化是水文现代化的基础和重要标志,也是全局事业发展和经济发展的有力支撑,但目前水文局信息化工作还存在缺乏整体规划、信息资源共享程度低、服务能力不足等问题。提出要以长江委信息化顶层设计工作思路为指导,以“大水文”发展需求为驱动,依托信息网络新技术,力争用3年时间,基本建成包括“数据资源一个中心”、“信息共享一张图”、“应用服务一个平台”(简称“三个一”)的水文信息化工程,为全局发展提供有力的信息化支撑。

三年来,水文局围绕“三个一”,开展长江水文信息化顶层设计,制定了信息化建设实施方案,积极推进信息资源整合和共享,努力构建一站式服务,进一步实现应用协同,加强基础保障,促进水文信息化可持续发展。今年是水文局三年信息化建设的收官之年,随着各项工作逐步进入收尾阶段,信息化成果逐步投入实际应用,初步发挥成效。三年的信息化建设给水文局带来了哪些变化和成效?我们将分期介绍和展示水文局三年信息化建设成果。今天刊登第三篇:数据资源中心之数据资源整合。

 

——数据资源中心之数据资源整合

近几年来,业务数据资源系列和管理数据资源系列均得到了丰富发展,对数据资源的应用需求以及数据服务能力也取得及长足进展。但随着建设的推进、需求的发展,数据资源深层次的问题也日益凸显,主要表现在:

一是数据资源分散,丰富的数据资源由于建设时期不同、开发部门不同、使用设备不同、技术发展阶段不同和能力水平的不同,数据存储管理极为分散,造成了过量的数据冗余和数据不一致性,使得数据资源难于共享访问。

二是信息资源利用程度较低,多年来分散建设的信息系统,自成体系,集成度较低,互联性较差,对于大量的数据不能提供一个统一的数据接口,不能采用一种通用的标准和规范,无法获得共享通用的数据源,于是不同的应用系统之间必然会形成彼此隔离的信息孤岛,缺乏共享的、网络化的、可用度高的信息资源体系。

三是支持管理决策能力较低,数据的共享度达不到对信息资源的整体开发利用的要求。面向本专业的应用多,交叉综合应用少,无法直接从各级各类业务信息系统采集数据并加以综合利用,业务系统产生的大量数据无法提炼升华为有用的综合信息,数据资源的增值作用还没有在管理决策过程中充分发挥。

为了解决这些问题,就必须对现有的数据资源进行整合,打通应用系统之间的数据壁垒,从而为各个业务应用提供综合服务和共享。本篇将着重介绍数据资源服务的核心环节——数据资源整合。

 

所谓数据资源整合,是把在不同数据源的数据进行分析、整理、清洗,转换后加载到一个新的数据源,为用户提供统一数据视图的数据集成方式。

数据资源整合是在众多水文业务事务数据基础之上,以构建一站式的数据服务体系为出发点,利用对象化的数据组织模式,构筑一个组织良好、层次关系明显、关联关系清晰的数据有机整体,来提供数据支撑服务,解决“异构数据不好找、不一致数据不敢用、封闭数据不能用”的问题,从而强化整体效益,促进数据共享。三年来,为努力达成这一目标,水文局先后开展了“数据资源整合与索引库建设”一期、二期项目建设,完成了对业务片和管理片数据资源整合,并构建了数据资源索引,实现对整合后数据资源的快速发现、关联查询、属性读取,为一站式的数据服务打造了核心引擎。此后建设的应用系统,如一张图、大数据分析、测站基本信息管理、测验原始数据入库审核等,都基于整合后的数据资源架构和服务进行设计和开发,整合后的数据资源开始真正发挥数据作为一种资源的核心价值。

一、对象化整合

利用对象化组织思想,以水文测站为对象整合了基础水文、实时雨水情和水质等3大业务数据资源,以管理机构和人员为对象整合了办公、财务、合同、人事等4类管理数据资源,并为后期其他数据资源预留了接口。对象化整合有效地构建了多源异构数据的关联关系,用“对象~属性”的链接关联,让数据资源更易被发现和被使用。

在整合前,业务数据应用里会经常碰到“一站多码”的情况(比如小河坝站,在实时雨水情库中的站码为60715955,而在基础水文数据库中的站码名为60715900),这种情况就会给数据资料服务和应用带来了许多不便。比如,要想同时得到某站的实时报汛信息和整编成果信息,首先必须知道该站在两个数据库中的站号是否一致,不一致的话分别又是什么站码,才能进一步提取数据,如果是单一应用还好办,就该站在两个数据库中的站码建立一个对应关系就行了。但如果考虑到多个应用系统、多个测站、多个数据库的组合,情况显然就复杂多了。

仔细分析会发现这类问题具有普遍性,因为同一个事物在不同的标准化体系里面,很可能就是两个不一样的表征,每一个表征只是对事物某一个方面的描述,只是众多属性中的一个。同时,一个属性也可以作为一个具象事物来看待,其又可以关联更细粒度的属性。这样的关联性结构称之为对象化结构。利用这种对象化结构和组织模式,对已有的水文数据资源进行梳理分析,开展数据资源整合研究与应用,可以很好解决这类问题。

对象化结构示例

对象化整合中所提对象通常指现实空间中的物体,如水文测站、职工,是数字世界对实体世界的抽取和描述;属性指的是对象本身所具有的特性,如水文测站的名称、类别、地址,职工的姓名、身份证号、出生年月等,是用来形容和描绘对象的。那么对象化就是找到对象并罗列其属性的过程。

下图概要地描述了面向水文的对象化组织与整合,例举了测站、河流、机构等三个水文对象,每个对象拥有其独特的属性,这些属性数据来自不同的数据源,共同构成了对象实体。同时,一个对象的属性可以映射另一个对象,通过这样的“对象~属性”关联,有效地实现了多个数据源的整合。

水文数据对象化整合的范例

应用对象化结构来解决上面“一站多码”的问题,将测站视为一个对象,其在水文库、实时库、水质库中的站码均作为该对象的属性,从而实现不同的标准体系在对象化整合后的统一。

在对象化整合中,我们以水文测站为对象,梳理组织业务数据,整合了业务片的数据,构建了业务数据资源整合系统;以管理机构和人员为对象,整合了管理片的数据构建了管理数据资源整合系统,并充分考虑数据资源不断建设完善的发展进程。以测站对象和管理机构对象间以及测站对象和人员对象间的从属关系,将业务片数据资源和管理片数据资源进行了关联,实现了一体化组织管理。同时,为对每个对象进行标识,并区别于已有的编码体系,创建了水文信息化编码规范。每一个对象在数据资源体系中都有一个信息化编码,是该对象的唯一标识。

水文数据对象化数据资源整合示例

对象化整合后,水文数据资源不再是分散的多个个体,而是由多个水文实体对象~属性以及对象间的关联关系所组成的一个数据网,通过一个入口——对象,就可以遍历整个数据网,找到想要的数据。整合后的水文数据资源网是一站式数据服务的重要基础,直接驱动了水文一张图的综合信息查询与展示,为水文数据服务、综合管理、大数据分析等需要多个数据源参与的复杂应用系统构建提供重要数据支撑。“一张图”提供的一体化信息查询展示基于数据资源整合后的水文测站对象和管理机构对象,把对象作为信息查询的入口,利用整合的关联属性实现与该对象相关的所有整合信息的一站式查询。

水文一张图中应用整合数据实现一站式查询

二、数据资源索引

数据资源索引以整合后的水文测站、组织机构和人员为对象,对其分布在各数据库中的属性资源状况构建规则索引,提供对相关资源状况的概览和快速定位访问。对基础水文数据库,以测站对象为索引键,分级分类属性规划,形成按测站类型、河流、水系、管理机构4大类划分的,涵盖了所有水文整编要素数据表的水文数据索引体系。对管理片的OA办公、财务及合同数据库,以机构和人员对象为索引键,基于索引规则,形成覆盖公文、考勤、差旅、会议、外委、承接等11项管理事务的数据资源索引。

数据资源索引系统通过定制的索引规则,对数据资源库进行索引抽取,并按索引键~索引值的结构进行存储。应用分析系统在查询数据资源状况时,先通过索引查询定位数据资源,分析处理后向用户展示成果或提供服务。数据资源索引为应用系统高效数据资源查询及统计分析处理提供了重要支撑。

数据资源索引建设与应用示意图

数据资源索引满足了应用系统对水文数据资源状况的高效查询需求,下面以水文数据服务系统为典型示例说明。水文数据服务系统旨在为全局用户提供全江水文整编成果数据,供水文分析计算使用。应对用户的水文数据资源申请,系统需要告知用户哪些站施测了哪些项目,各施测项目有哪些年份的数据。如此将整个水文数据库的资源存储状况呈现给用户,方便用户选择资源并提交数据申请。有了水文数据资源索引的支撑,水文数据服务系统才能高效的完成数据资源状况查询与展示,为用户提供快捷的数据服务。

水文数据服务系统中的数据资源状况索引展示

数据资源索引满足了应用系统对数据资源快速统计分析的需求。管理类的数据统计分析相比单条数据的含义分析更具价值,是优化管理流程、提升管理水平的重要分析工具。管理类数据因其闭源的数据结构以及不宜公开的隐私属性,使得直接去管理数据库拿数据进行统计分析不切实际。通过建立数据资源索引,按照索引规则对管理数据资源要素进行分类分项统计,屏蔽单条数据细节,站在数据统计分析的角度上,对整个管理数据资源进行索引描述,支撑起面向索引的数据分析应用。在大数据分析试点建设中,以管理数据资源索引为源,完成了财务报销数据统计分析、出差数据统计分析等分析成果。

数据资源索引在大数据统计分析中的应用

数据资源整合是提升数据价值、发挥整体效益的核心所在。至此,数据资源不再是自成体系的不同数据源的随意堆砌,而是组织良好的、层次关系明显、关联关系清晰的有机整体。这个有机整体以及架构在其之上的数据索引共同支撑了便捷、高效、联动的一体化数据服务。

相关系列报道:

水文局三年信息化建设成果报道之一

水文局三年信息化建设成果报道之二

 责任编辑:许先进

关闭