DB1508 T 135-2021 水利信息数据质量控制规范.pdf

《DB1508 T 135-2021 水利信息数据质量控制规范.pdf》由会员分享，可在线阅读，更多相关《DB1508 T 135-2021 水利信息数据质量控制规范.pdf（15页珍藏版）》请在麦多课文档分享上搜索。

1、ICS 35.020 CCS L 70 DB1508 巴 彦 淖 尔 市 地 方 标 准 DB 1508/T 1352021 水利信息数据质量控制规范 Water Conservancy Information Data Quality Control Standard 2021 - 04 - 16发布 2021 - 05 - 16实施 巴彦淖尔市市场监督管理局 发布 DB1508/T 1352021 I 目 次 前言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 数据处理流程 . 1 4.1 人工采集整编数据处理流程 . 1 4.2 自动监测数据处理流程

2、 . 2 4.3 外单位共享数据处理流程 . 3 5 数据处理各个环节要求 . 3 5.1 人工采集整编数据处理环节要求 . 3 5.2 自动监测数据处理环节要求 . 5 5.3 外单位共享数据处理环节要求 . 6 6 数据处理基础环境要求 . 7 6.1 计算机要求 . 7 6.2 网络要求 . 7 6.3 系统要求 . 8 DB1508/T 1352021 II 前 言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定 起草。 本文件由内蒙古河套灌区水利发展中心提出。 本文件由巴彦淖尔市水利局归口。 本文件起草单位：内蒙古河套灌区水利发展中心。

3、本文件主要起草人：李占强、李根东、徐宏伟、闫晋阳、裴文武、张利军、姜杰、曹立奇、关丽罡、 刘建国、董向义、李延林、贾宏伟、梁勇。 DB1508/T 1352021 1 水利信息数据质量控制规范 1 范围 本文件规定了水利信息数据质量控制中数据处理流程、数据处理各环节要求和数据处理基础环境要 求。 本文件适用于巴彦淖市水利信息化水利信息数据质量控制。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 20271 信息安全技术信息

4、系统安全通用技术要求。 3 术语和定义 GB/T 20271界定的以及下列术语和定义适用于本文件。 3.1 数据采集 data collection 数字化、电子扫描系统的记录过程以及内容和属性的编码过程。 3.2 人机交互 human-computer interaction 人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息 交换过程。 3.3 召测 data acquisition 由中心站呼叫某个遥测站，发出取数指令后，收集该遥测站送来的数据。 4 数据处理流程 4.1 人工采集整编数据处理流程 4.1.1 巴彦淖尔市水利信息化中心人工采集整编数据来

5、源于、河灌总局、市水务局、旗县水务局等， 数据量大，涉及的单位多。为了保证人工采集整编数据的质量，需对各产生数据单位进行充分调研，然 DB1508/T 1352021 2 后结合各单位数据处理流程形成统一的数据采集整编处理流程，在具体实施的过程中根据各单位的具体 情况从统一流程中可以适当减少一些不必要的环节。 4.1.2 巴彦淖尔市水利信息化中心人工采集整编处理主要包括如下过程： 数据整编：数据采集整编单位按照资料整编及录入格式规范的要求将待处理数据进行整编形成 相应的数据表格； 数据录入（导入）：数据采集整编单位将整编好的数据通过人工录入界面或批量导入功能将数 据保存到数据中心的数据库中；

6、数据校核：数据采集整编单位将保存到数据库中的数据与原始整编数据进行比对，判断原始整 编数据与录入数据是否一致，如果不一致则重新进行数据录入（导入）； 内部审核：数据采集整编单位对自己负责整编的数据进行内部审核，以保证从本单位出去的数 据的质量。内部审核可以根据需要定义多个审核层级，审核不通过则退回前一审核层级，内部 审核第一级审核不通过的数据需返回到数据整编环节； 数据上报：数据采集整编单位相关负责人员将审核通过的整编数据上报相关责任处室； 接收上报审核数据：相关处室接收已上报待处理的整编数据； 中心数据审核：市水务局相关处室对上报待审数据进行人工审核或根据定义的审核规则自动审 核。审核不通过

7、的数据将被返回到数据采集整编单位的内部审核环节。数据审核通过，审核通 过则此整编数据成为最终可用数据，可以被建立在数据中心之上的应用系统、数据服务等使用； 数据汇编：中心（数据审核汇编单位）相关责任人员对不同数据采集单位上报的采集整编数据 进行汇编形成汇编业务数据； 汇编数据审核：中心的汇编数据审核人员对通过汇编得到的汇编数据进行审核，审核不通过则 回到数据汇编环节，审核通过则此整编数据成为最终可用数据，可以被建立在数据中心之上的 应用系统、数据服务等使用； 数据共享：通过中心审核的上报数据和汇编数据，如果数据被定义为共享数据则可以通过共享 交换平台进行数据共享与同步。 4.2 自动监测数据处

8、理流程 4.2.1 自动监测数据主要包括全市所有自动监测站点实时监测数据，如雨水情、水质、水量、大坝安 全（位移、渗压）等的实时监测数据，这类数据一般由自动采集设备进行实时采集或人工不定时召测获 得。经由采集设备前段数据库传输到市水利数据中心和各相关数据负责单位，通过共享设置可共享交换 到其他使用单位（其他数据分中心）。 对于实时监测数据应尽量避免人工干预以保证数据的准确性，每个站点根据其数据的实际情况确定 数据值的有效范围和预警范围，便于自动判断数据的有效性及进行数据预警。 4.2.2 巴彦淖尔市水利信息化中心自动监测数据处理流程主要包括以下环节： 自动采集或人工召测：根据数据自动监测设备的

9、设置进行数据自动采集，根据数据负责单位分 中心或区水利数据中心发出的召测指令临时采集数据； 采集端数据保存：将自动采集数据和临时召测数据保存到采集端的数据库中； 采集端数据传输：通过数据传输系统（共享交换平台）将采集数据及时传输到负责单位分中心 和市水利数据中心； 实时监测数据接收：负责单位分中心和市水利数据中心对传输过来的实时监测数据进行接收处 理； 有效性判断：根据预先设置好的监测数据有效性范围进行数据有效性判断； DB1508/T 1352021 3 实时监测数据入库：根据数据有效性判断结果对数据进行入库保存，有效数据保存到实时监测 数据库中，无效数据保存到实时监测异常库中。有效数据可根

10、据预警阀值设置进一步增加实时 监测数据预警信息； 记录日志：对数据接收处理及有效性判断，入库结果等记录相应的日志信息，便于过程查询和 问题排除； 数据共享：如果实时监测数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步。 4.3 外单位共享数据处理流程 4.3.1 外单位共享数据需根据外单位的具体情况，确定数据传输共享方式。这里只对外单位数据进入 数据中心后的处理流程进行说明。 4.3.2 外单位共享数据处理流程主要包括以下环节： 数据接收入库：按照与外单位确定好的数据获取方式获得数据，将数据保存到区水利数据中心 相关数据库中； 记录日志：对数据 获取及入库过程记录相应的日志信息，

11、便于过程查询和问题排除； 数据共享：如果外单位共享数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步。 5 数据处理各个环节要求 5.1 人工采集整编数据处理环节要求 5.1.1 数据整编 按照巴彦淖尔市水利信息化中心资料整编和数据录入格式规范文档中定义的数据整编内容、流 程及整编格式要求进行。具体要求参见巴彦淖尔市水利信息化中心资料整编和数据录入格式规范的 规定。这里补充以下要求： 对各类整编数据中的关键属性需进行重点校核，包括必填、类型、长度、精度、范围等方面的 要求需事先进行规定，保证关键属性的质量； 做好整编、一校、二校、配合整编单位、审查、复审、汇编等各个环节的人员信息的

12、记录，做 到每个环节都能够责任到人，提高解决数据问题的效率，更好的保证人工采集整编数据的质量； 在进行整编数据格式定义的时候要充分考虑数据的存储方式和存储结构，方便后续环节的顺利 进行。 5.1.2 数据录入（导入） 按照巴彦淖尔市水利信息化中心资料整编和数据录入格式规范文档中整编数据存储的要求进行。 具体要求参见巴彦淖尔市水利信息化中心资料整编和数据录入格式规范的规定。这里补充以下要求： 数据录入（导入）在保存前要有严格的系统验证，包括各属性的完整性验证、类型验证、精度 验证、格式验证、关联属性验证等。保证录入数据的准确性； 数据录入（导入）要有详细的日志，包括操作时间、操作人员、数据说明、

13、操作结果、异常描 述、异常数据记录等； 对于工程实景数字图像、特殊资料等数据应提供目录和数据库两种方式的存储保证数据的存储 和方便使用。 5.1.3 数据校核 DB1508/T 1352021 4 提供录入（导入）数据与整编结果数据的比对校核功能，保证录入数据与整编数据的一致性。具体 要求如下： 数据校核人员对所校核的数据比较了解，熟知对整编数据的要求，对整编数据的细节、关键属 性等有深刻的认识； 系统自动校核，校核结果作为校核人员的参考； 校核人员根据巴彦淖尔市水利信息化中心资料整编和数据录入格式规范和本文件的要求结 合自己的经验，对数据正确性、有效性做出判断； 记录校核结果、校核人员、校核

14、时间等校核日志信息。 5.1.4 内部审核 内部审核是资料整编单位对整编录入本单位数据分中心数据的最后把关，对本环节提出如下要求： 内部审核应该由资料整编单位的相关整编数据负责人进行； 只有经过校核的数据方可进行内部审核； 重点审核数据的完整性、正确性、及时性、是否最新等内容； 记录审核人、审核结果、审核意见、审核时间等审核日志信息。 5.1.5 数据上报 将数据整编单位整编完成且经过内部审核的数据上传到水利数据区中心。本环节的规范要求如下： 只有通过内部审核的整编数据方可进行数据上报； 统一通过数据共享交换平台进行数据传输； 待上报数据按照规定结构格式由数据整编单位分中心数据库中首先推入分中

15、心的前置库中并 标记好待上报标志； 数据上报的时效性由数据共享交换平台来保证； 通过共享交换平台上报数据被推送到区中心的前置数据库中，并设置上报待审标志； 要有数据正确接收的校验机制以保证传输数据的正确性，提供文件续传、数据重传机制保证数 据传输的可靠性； 上报待审数据能够及时从区中心前置库推送到区数据中心相关库表中。 5.1.6 中心数据审核 主要由河灌总局相关责任处室的数据审核人员对数据整编单位上报的整编数据进行审核。本环节的 规范要求如下： 明确各类整编数据在区中心的审核主体； 提供待审提示保证审核的及时性； 重点审核数据的完整性、正确性、及时性、是否最新等内容； 记录审核人、审核结果、

16、审核意见、审核时间等审核日志信息。 5.1.7 数据汇编 中心（数据审核汇编单位）相关责任人员对不同数据采集单位上报的采集整编数据进行汇编形成汇 编业务数据。本环节的规范要求如下： 制定汇编计划并严格按照计划执行； 对参加汇编的人员要求：熟悉业务、了解复审阶段情况；具备资料整编资质； 汇编成果的质量定性标准应符合的要求：项目完整，图表齐全；考证清楚，定线合理； DB1508/T 1352021 5 资料可靠，方法正确；说明完备，规格统一；数字准确，符号无误； 汇编成果版面规格、数字质量标准应符合的要求； 汇编成果采用A4 幅面纸介质； 打印版面规格统一，字体大小适宜，字迹清晰； 文字及图表内容

17、不应出现手工改动； 汇编成果无系统错误、特征值错误，其它数字错不应超过1/10000。 5.1.8 汇编数据审核 中心的汇编数据审核人员对通过汇编得到的汇编数据进行审核，审核不通过则回到数据汇编环节， 审核通过则此整编数据成为最终可用数据，可以被建立在数据中心之上的应用系统、数据服务等使用。 本环节的要求如下： 明确各类汇编数据在区中心的审核主体； 提供待审提示保证审核的及时性； 记录审核人、审核结果、审核意见、审核时间等审核日志信息。 5.1.9 数据共享 通过中心审核的上报数据和汇编数据，如果数据被定义为共享数据则可以通过共享交换平台进行数 据共享与同步。为方便数据共享，本环节的要求如下：

18、 从机房条件保障和建设上面保证数据共享的外部环境； 从网络平台管理上提供数据传输能力，方便数据共享； 从硬件和软件系统管理上利用先进的、具备高性能、高可用性的、大容量存储的设备和软件， 构建功能完善的数据存储环境，集中化、智能化、图形化的存储与管理所有重要应用的关键性 信息数据，提高数据传输能力，方便数据共享； 从系统安全管理上保障安全有效的数据共享。 5.2 自动监测数据处理环节要求 5.2.1 自动采集或人工召测 根据数据自动监测设备的设置进行数据采集；根据数据负责单位分中心或区水利数据中心发出的召 测指令临时采集数据。本环节要求如下： 测站位置选取上，要按照水文规范的要求，最好是水流稳定

19、、断面规则的河段； 自动采集系统须有完备措施，确保稳定、持续、有效工作； 对山区和距离较远的监测点，保证能接受并转发信号，并能保持长期可靠运行。 5.2.2 采集端数据保存 将自动采集数据和临时召测数据保存到采集端的数据库中。本环节要求如下： 对于自动采集数据和临时召测数据的保存要做到完全自动化，无人为修改，保证数据的有效性； 对自动采集系统有监控机制，保证数据的完整性； 应具设备故障、异常自动报警功能。 5.2.3 采集端数据传输 通过数据传输系统（共享交换平台）将采集数据及时传输到负责单位分中心和区水利数据中心。本 环节要求如下： DB1508/T 1352021 6 自动采集系统需将远端

20、采集点的数据实时、可靠地发送到各级监控中心。并接收各级监控中心 的控制指令； 保证数据传输设备及网络运行可靠稳定，能够安全、及时、准确地传输数据。 5.2.4 实时监测数据接收 负责单位分中心和区水利数据中心对由实时监测系统传输过来的数据进行接收处理。本环节要求如 下： 监测数据接收系统能够实时接收自动监测站的数据，对接收的信息进行分类、处理、入库； 监测数据接收系统能远程对监测站进行配置管理，收集设备状态参数，诊断系统运行状态等。 5.2.5 有效性判断 根据预先设置好的监测数据有效性范围进行数据有效性判断。本环节要求如下： 监测数据接收系统须能够设置数据的有效性范围； 监测数据接收系统具有

21、自动对异常数据进行报警的功能； 根据数据的实际情况，采用自动批量或人机交互的方法进行检查。 5.2.6 实时监测数据入库 根据数据有效性判断结果对数据进行入库保存，有效数据保存到实时监测数据库中，无效数据保存 到实时监测异常库中。有效数据可根据预警阈值设置进一步增加实时监测数据预警信息。本环节要求如 下： 确保数据入库的时完整性和有效性，无缺漏无篡改； 确保对数据库已有数据的完整性，无删减无覆盖； 数据库安全设置：根据数据的密级、操作人员的工作范围进行数据访问、修改权限的设置。 5.2.7 记录日志 对数据接收处理及有效性判断，入库结果等记录相应的日志信息，便于过程查询和问题排除。本环 节要求

22、如下： 日志记录系统保证全面、完整、实时记录日志； 制定定期审计日志计划，人工对日志定期进行审计。 5.2.8 数据共享 如果实时监测数据被定义为共享数据则可以通过共享交换平台进行数据共享与同步。本环节要求如 下： 从机房条件保障和建设上面保证数据共享的外部环境； 从网络平台管理上提供数据传输能力，方便数据共享； 从硬件和软件系统管理上利用先进的、具备高性能、高可用性的、大容量存储的设备和软件， 构建功能完善的数据存储环境，集中化、智能化、图形化的存储与管理所有重要应用的关键性 信息数据，提高数据传输能力，方便数据共享； 从系统安全管理上保障安全有效的数据共享。 5.3 外单位共享数据处理环节

23、要求 5.3.1 数据接收入库 DB1508/T 1352021 7 按照与外单位确定好的数据获取方式获得数据，将数据保存到区水利数据中心相关数据库中。本环 节要求如下： 确保数据入库的时完整性和有效性，无缺漏无篡改； 确保对数据库已有数据的完整性，无删减无覆盖； 数据库安全设置：根据数据的密级、操作人员的工作范围进行数据访问、修改权限的设置。 5.3.2 记录日志 对数据获取及入库过程记录相应的日志信息，便于过程查询和问题排除。本环节要求如下： 日志记录系统保证全面、完整、实时记录日志； 制定定期审计日志计划，人工对日志定期进行审计。 5.3.3 数据共享 如果外单位共享数据被定义为共享数据

24、则可以通过共享交换平台进行数据共享与同步。本环节要求 如下： 从机房条件保障和建设上面保证数据共享的外部环境； 从网络平台管理上提供数据传输能力，方便数据共享； 从硬件和软件系统管理上利用先进的、具备高性能、高可用性的、大容量存储的设备和软件， 构建功能完善的数据存储环境，集中化、智能化、图形化的存储与管理所有重要应用的关键性 信息数据，提高数据传输能力，方便数据共享； 从系统安全管理上保障安全有效的数据共享。 6 数据处理基础环境要求 6.1 计算机要求 6.1.1 计算机设备的防盗防毁 6.1.1.1 应有明显的无法除去的标记，以防设备和部件被更换，方便查找。 6.1.1.2 应安装防盗报

25、警装置，防止从门窗进入的盗窃行为。 6.1.1.3 应利用光、电、无源红外等技术设置机房报警系统，并有专人值守，防止从门窗进入的盗窃 行为。 6.1.1.4 计算中心应利用光、电、无源红外等技术设置机房报警系统，并有专人值守，防止从门窗进 入的盗窃行为。 6.1.2 计算机设备的安全可用 6.1.2.1 基本运行支持 信息系统的计算机设备应提供基本的运行支持，并有必要的容错和故障恢复 能力。 6.1.2.2 计算机设备安全可用，支持信息系统运行的所有计算机设备应安全可用。 6.1.2.3 计算机设备不间断运行，提供可靠的运行支持，并通过容错和故障恢复等措施，支持信息系 统实现不间断运行。 6.

26、2 网络要求 6.2.1 做好网络基础设施的配置和维护，包括电源设备、布线、路由器和交换机等。 6.2.2 数据中心需具备性能较为完善的网络信息安全设施，包括：网络防火墙、入侵检测、病毒防范、 用户识别等信息安全软硬件系统，并设专人进行日常管理监控与更新。 6.2.3 采取必要措施，保证通信线路畅通。 DB1508/T 1352021 8 6.2.4 采取必要措施，发现线路截获事件并报警。 6.2.5 采取必要措施，防止线路截获事件发生。 6.3 系统要求 6.3.1 系统安全监控要求 6.3.1.1 安全探测机制 在组成信息系统的计算机、网络的各个重要部位，设置探测器，实时监听网 络数据流，

27、监视和记录内、外部用户出入网络的相关操作，在发现违规模式和未授权访问时，报告信息 系统安全监控中心。 6.3.1.2 安全监控中心 设置安全监控中心，负责对收到的来自探测器的信息，根据安全策略进行分 析，并作审计、报告、事件记录和报警等处理。并应具有以下功能： 远程管理功能 如对探测器实现远程参数设置、远程数据下载、远程启动等操作； 实时响应功能 包括攻击分析和响应、误操作分析和响应、漏洞分析和响应以及漏洞形势分析 和响应等。 6.3.2 系统边界安全防护要求 采用常规的信息系统边界安全防护机制，如基本的登录/连接控制等，实现基本的信息系统边界安 全防护。 6.3.3 备份与故障恢复 用户自我

28、信息备份与恢复：提供用户有选择地备份重要信息的功能；当由于某种原因引起信息 系统中用户信息丢失或破坏时，能提供用户按自我信息备份所保留的信息进行信息恢复的功 能； 增量信息备份与恢复：提供由信息系统定时对新增信息进行备份的功能；当由于某种原因引起 信息系统中的某些信息丢失或破坏时，提供用户按增量信息备份所保留的信息进行信息恢复的 功能； 局部系统备份与恢复：提供定期对信息系统的某些重要的局部系统的运行状态进行备份的功 能；当由于某种原因引起信息系统某一局部发生故障时，提供用户按局部系统备份所保留的运 行状态进行局部系统恢复的功能； 全系统备份与恢复：提供定期对信息系统全系统的运行状态进行备份的

29、功能；当由于某种原因 引起信息系统全系统发生故障时，提供用户按全系统备份所保留的运行状态进行全系统恢复的 功能； 设备备份与容错：可采用设备冷/热备份、单机逻辑备份、双机备份等，对系统的重要设备进 行备份/冗余设置和容错设计，并在必要时能立即投入使用，使故障对用户透明； 网络备份与容错：对于重要信息系统，采用冗余技术、路由选择技术、路由备份技术等，实现 网络备份与容错，当网络正常路由不能工作时，能替代其工作，使信息系统照常运行； 灾难备份与恢复：对于重要的信息系统，设置主机系统的异地备份，当主机系统发生灾难性故 障中断运行时，能在较短时间内启动，替代主机系统工作，使系统不间断运行。 6.3.4 系统的应急处理 具有各种安全措施：包括在出现各种安全事件时应采取的措施，这些措施是管理手段与技术手 段的结合； 设置正常备份机制：在系统正常运行时就通过各种备份措施为灾害和故障做准备； 健全安全管理机构：建立健全的安全事件管理机构，明确人员的分工和责任； DB1508/T 1352021 9 建立处理流程图：制定安全事件响应与处理计划及事件处理过程示意图，以便迅速恢复被破坏 的系统。 _