DB13 T 6190-2025 农业农村大数据采集和交换共享规范.pdf
《DB13 T 6190-2025 农业农村大数据采集和交换共享规范.pdf》由会员分享,可在线阅读,更多相关《DB13 T 6190-2025 农业农村大数据采集和交换共享规范.pdf(24页珍藏版)》请在麦多课文档分享上搜索。
1、 ICS 65.020.01 CCS B 07 13 河北省地方标准 DB 13/T 61902025 农业农村大数据采集和交换共享规范 2025-12-10 发布2026-01-10 实施河北省市场监督管理局发 布 DB 13/T 61902025 I 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。本文件由河北省农业农村厅提出。本文件起草单位:河北省农业信息中心、河北农业大学、世窗信息股份有限公司。本文件主要起草人:安军锋、李清华、闫海涛、滕桂法、张军力、曹倩、郭振环、侯岩隆、任丽、张晓俭、王春山、张璠、王忠、李静、杨阳、张国甫。本文
2、件为首次发布。DB 13/T 61902025 1 农业农村大数据采集和交换共享规范 1 范围 本文件规定了农业农村数据采集、数据管理、数据交换共享等的技术要求。本文件适用于农业农村数据采集、管理、交换共享。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T 2260 中华人民共和国行政区划代码;GB/T 5271.1 信息技术词汇第1部分:基本术语;GB/T 18391.1 信息技术 元数据注册系统(MDR)第1部分:框架;GB/T
3、 21063.4 政务信息资源目录体系 第4部分:政务信息资源分类;GB/T 22239 信息安全技术网络安全等级保护基本要求;GB/T 31916.1 信息技术 云数据存储和管理 第1部分:总则;GB/T 35295 信息技术大数据术语;GB/T 36625.1 智慧城市 数据融合 第1部分:概念模型;GB/T 36625.2 智慧城市 数据融合 第2部分:数据编码规范;GB/T 36625.3-2021 智慧城市 数据融合 第3部分:数据采集规范;GB/T 36625.4 智慧城市 数据融合 第4部分:开放共享要求;NY/T 3987 农业信息资源分类与编码;3 术语和定义 下列术语和定义
4、适用于本文件。农业农村大数据 农业农村相关领域产生的海量、多源、异构数据。码表 用于农业农村数据统一定义、引用的代码对照表,简称码表。4 缩略语 下列缩略语适用于本文件。CCKS:组合诚信密钥系统(Combined Credit Key System)CPK:组合公钥(Combined Public Key)ETL:数据异构任务调度平台(Extract,Transform and Load)FTP:文件传输协议(File Transfer Protocol)HTTP:超文本传输协议(HyperText Transfer Protocol)HTTPS:超文本传输安全协议(HyperText Tr
5、ansfer Safe Protocol)JDBC:Java数据库连接(Java DataBase Connectivity)MQTT:消息队列遥测传输(MessageQueuing Telemetry Transport)DB 13/T 61902025 2 ODBC:开放数据库互连(Open Database Connectivity)OPC:对象连接和嵌入技术在过程控制规范(Object Linking and Embedding for Process Control)PKI:公钥基础设施(Public Key Infrastructure)PDA:数据采集器(Personal Dig
6、ital Assistant)REST:表述性状态转移(Representational State Transfer)TCP:传输控制协议(Transmission Control Protocol)UDP:用户数据报协议(User Datagram Protocol)VPN:虚拟专用网络(Virtual Private Network)5 数据采集 数据采集内容 农业农村大数据采集内容包括但不限于:资源数据,包含农业农村活动必要生产要素的信息资源;主体数据,包含农业农村活动中涉及的政府机关、事业单位、企业和其他组织信息资源;业务数据,包含农业农村活动过程中产生的业务信息资源。数据采集过程
7、参照GB/T 36625.3-2021中第5章的规定进行。数据采集技术 5.3.1 基本要求 采集技术包括但不限于:针对结构化数据,可通过数据库表复制、文件导入、API 接口调用等方式进行数据采集。此外,应利用高效的数据同步工具或中间件,确保数据的实时性和一致性;针对非结构化数据(如文件、图像、音频、视频等),可采用先进的语音图像识别、编解码技术将非结构化数据转化为可分析的格式,并通过 FTP、HTTP 或其他文件传输协议从远程服务器上获取文件进行采集;针对网页数据,可利用高效的网络爬虫技术或 API 接口调用方式,对动态和静态网页数据进行采集,并确保采集过程遵守相关法律法规和协议;针对复杂网
8、络环境和不同异构数据,可通过其他相关方式实现。5.3.2 采集方法 5.3.2.1 人工采集 通过人工填报、导入、数据库手动还原等方式获得数据。5.3.2.2 系统对接 通过ETL平台从不同结构的数据源中抽取(Extract)数据,对数据进行复杂的加工处理(Transform),最后将数据加载(Load)到各种存储结构中。通过系统自动采集抽取数据,应支持多种数据源、数据库,支持集群访问和可视化操作。5.3.3 采集参数要求 应满足以下要求:文件采集,提供文件名称、列名、标准二维数据表、UTF-8 编码方式;数据库采集,提供 IP 地址、端口号、数据库名称、数据库类型、账户、密码、数据库表结构说
9、明;接口采集,提供可访问的 URL 路径(明确方法名称、参数),如果系统需要登录,提供返回 Token 的接口、账户、密码。接口标准见附录 A。DB 13/T 61902025 3 5.3.4 更新周期 根据数据的时效性、应用情况,数据更新周期分为以下5种情况:a)时效性极强的数据,如天气、温度、湿度等实时更新;b)时效性较强的数据,如农产品价格等根据实际进行更新;c)从文件数据源抽取的数据,6 个月更新一次;d)年鉴数据,如历年主要农作物播种面积等更新周期为 1 年;e)网页数据按实际需求具体确定。质量控制 5.4.1 基本原则 数据质量控制应贯穿整个采集过程,遵循完整性、准确性、一致性、时
10、效性、可访问性、可追溯性等原则。5.4.2 控制方式 5.4.2.1 数据清洗 数据清洗过程管理应包括但不限于:a)数据分析,应对数据源进行分析,及时发现数据源存在的质量问题;b)定义清洗规则,应给出空值、非法值、不一致数据、相似重复记录等的检测和处理规定;c)执行数据清洗规则,依据定义的清洗规则,补足残缺和空值,纠正不一致数据,完成数据拆分、数据合并或去重、数据脱敏、数据除噪等;d)清洗结果验证,对定义的清洗方法正确性和效率进行验证与评估,对不满足清洗要求的清洗方法进行调整和优化。数据清洗过程宜多次迭代并进行分析、设计和验证。5.4.2.2 数据转换 对数据的标准代码、格式、类型等进行转换。
11、必要时,可建立数据转换规则表。5.4.2.3 数据分析 通过对比、拆分、排序、交叉、降维、统计分析、数据挖掘、机器学习、可视化分析等方法,分析采集的数据,形成完整有效的数据。5.4.2.4 数据质量评价方法 数据质量评价方法分为:定性评价法,根据事先确定的完整性、准确性、一致性、安全性、可用性等评价指标,对数据的安全性、目的、用途、日志以及自定义项目进行评价;定量评价法,采用专业软件工具检测数据质量,也可通过辅助工具结合人工识别分析方法进行人工检测。一般可分为全数检测和抽样检测,针对国家强制要求、特殊要求、其他可能导致严重影响的数据质量项目进行全数检测,针对质量比较稳定、数据量较大、检查费用与
12、时间有限的情况进行抽样检测。安全控制 5.5.1 安全要求 应包括但不限于:应符合 GB/T 22239 对数据安全的相关要求;数据在整个采集、转化、传输过程中应依据授权使用,防止非法冒充、窃取、篡改、抵赖;应对数据采集环境、设施和技术采取必要的安全管控措施;应明确数据采集过程中个人信息和重要数据的知悉范围和安全管控措施,并采取必要的技术手段和管理措施保证数据不被泄露;应能够对采集的数据进行定位溯源;DB 13/T 61902025 4 应对数据采集过程进行安全审计及监测;应采用通过检测认证的商用密码产品,保障数据采集过程中的安全性和完整性;应采用加密传输(如 TLS/SSL)来保护数据在传输
13、过程中的安全;应遵守数据最小化原则,只采集完成既定目标所必需的数据。5.5.2 安全控制方法 数据采集过程中应采用全方位防御措施,避免网络攻击、非授权访问,同时应留存访问记录,以便审查和监督。安全措施应包括但不限于:建立安全管理制度,避免人为因素导致数据泄露、损坏等安全事件;制定数据采集原则,明确采集数据的目的和用途,确保数据采集的合法性和正当性;对不同数据进行分类并标识;监控数据使用情况,防止数据在采集过程中被窃取、破坏、篡改;设立访问和使用权限控制机制;采用安全技术维护数据安全,包括但不限于对称与非对称密码技术及其硬化技术、VPN 技术、身份认证与鉴别技术、CPK 技术、CCKS 技术、P
14、KI 技术、完整性验证技术、数字签名技术、秘密共享技术等;定期对数据采集的安全性进行风险评估,及时发现安全隐患并制定相应整改措施;制定应急响应预案,定期进行应急演练。6 数据管理 信息资源目录 6.1.1 信息资源分类 农业农村信息资源分为资源数据、主体数据、业务数据3类。6.1.2 编码方法 农业农村信息资源目录代码结构,见图1。ZG 13XXXX XX XX XXX XXX XX 行业信息资源分类码 行政区划代码 一级码 二级码 三级码 四级码 扩展码 图1 农业农村信息资源目录代码结构图 代码编制规则如下:a)行业信息资源分类码:按照 GB/T 21063.4 的规定执行,为“ZG”;b
15、)行政区划代码:按照 GB/T 2260 的规定执行,六位的数字代码按照层级分别表示河北省、市、县名称;DB 13/T 61902025 5 c)一级分类代码:采用序列顺序码用 2 位阿拉伯数字表示,从“10”开始整十递增编码。一级分类中“其他”类目代码用“99”表示,以便扩展;扩展时,从“11”开始整十递增编码,依次类推;d)二级分类代码:采用递增顺序码用 2 位阿拉伯数字表示,从“1”开始顺序递增编码,不足2 位时,前面用“0”补齐。二级分类中“其他”类目代码用“99”表示,以便扩展;扩展时,在本层二级类目最大代码后顺序递增编码;e)三级分类代码:采用递增顺序码用 3 位阿拉伯数字表示,从
16、1”开始顺序编码,不足 3 位时,前面用“0”补齐。三级分类中“其他”类目代码为“999”,以便扩展;扩展时,在本层三级类目最大代码后顺序递增编码;f)四级分级代码:采用递增顺序码用 3 位阿拉伯数字表示,从“1”开始顺序编码,不足 3 位时,前面用“0”补齐。四级分类中“其他”类目代码为“999”,以便扩展;扩展时,在本层四级类目最大代码后顺序递增编码;g)“扩展码”:用于四级编码下的细分编码,默认 01,可采用自定义递增顺序码用 2 位阿拉伯数字表示,从“1”开始顺序编码,不足 2 位时,前面用“0”补齐。采用扩展码时,应给出扩展码说明。6.1.3 农业信息资源编码类目代码 参照农业农村
17、数据分级分类规范进行编制,农业农村信息资源类目代码见附录B。6.1.4 信息资源目录管理 信息资源目录管理架构及活动包括三个角色和六项活动,见图2。图2 信息资源目录管理架构及活动 六项活动:a)规划:信息资源目录中心梳理、规划本级信息资源目录,制定本部门政务信息资源目录体系建设工作方案,保证各目录系统的互联互通;信息资源目录体系管理架构及活动 规划 编目 注册 发布 维护 查询 目录提供者 目录中心 目录使用者 DB 13/T 61902025 6 b)编目:目录提供者依据本标准中“农业信息资源类目代码”,结合本部门实际,对信息资源进行编辑与整理,形成信息资源目录。目录提供者依法对信息资源目
18、录和目录内容设置使用权限,分为依法专用、公开和授权共享三种级别;c)注册:目录提供者向信息资源目录中心注册信息资源目录内容,并负责定期更新;信息资源目录中心对注册的目录内容进行审核和管理;d)发布:目录中心向目录使用者发布在本中心注册的可公开信息资源目录,向部门发布授权共享数据目录;e)查询:目录中心提供信息资源目录查询服务,可按分类、关键字等条件检索;f)维护:目录中心负责保存、备份、恢复与注销信息资源目录内容。元数据管理 6.2.1 元数据编码 对元数据进行编码是为了对每个元数据进行区别和标识,便于元数据的维护与管理。元数据编码又称内部标识符,每个元数据有且只有一个永久标识符。每个元数据均
19、对应一个18位的标识符,采用分段层级式编码。元数据编码结构,见图3。DE XX XX XXX XXX XX XXXX 元数据代码 数据资源目录一级码 数据资源目录二级码 数据资源目录三级码 数据资源目录四级码 数据资源目录扩展码 顺序码 图3 元数据编码结构图 代码编制规则如下:a)“元数据代码”用英文字母“DE”表示。b)“数据资源目录一级码”参照信息资源目录的一级分类代码,用 2 位阿拉伯数字表示,具体详见附录 B表 B.1。c)“数据资源目录二级码”参照信息资源目录的二级分类代码,用 2 位阿拉伯数字表示,具体详见附录 B表 B.1。d)“数据资源目录三级码”参照信息资源目录的三级分类代
20、码,用 3 位阿拉伯数字表示,具体详见附录 B表 B.1。e)“数据资源目录四级码”参照信息资源目录的四级分类代码,用 3 位阿拉伯数字表示,具体详见附录 B表 B.1。f)“数据资源目录扩展码”参照信息资源目录的扩展码,用 2 位阿拉伯数字表示。g)“顺序码”元数据的排序顺序编码,用 4 位阿拉伯数字表示,从 0001 开始顺序编码。6.2.2 数据元属性 应按照统一的标准注册和控制数据元属性,保证数据元在信息交换汇总时保持一致性,并且能够在不同的数据管理环境中进行数据元的比较。数据元属性常规描述符见表1。DB 13/T 61902025 7 表1 数据元属性常规描述符 属性描述符 说明 约
21、束 数据类型 名称(中、英文)数据元属性标记,名称是唯一的。必选 字符串 短名 数据元的英文缩写名称 必选 字符串 内部标识符 由注册机构分配,与语言无关的唯一标识符。必选 字符串 定义 对数据元所表示的业务含义的精确描述,定义必须清晰、简洁、无歧义,避免使用模糊或主观的语言 可选 字符串 数据类型 描述数据元取值类型。数据类型示例有“字符”“字符串”“数字”“日期”。必选 字符串 数据格式 描述数据元数据格式,从应用的角度规定数据元值的格式。必选 字符串 备注 描述数据元属性应用有关的注释 可选 字符串 命名规则 6.3.1 数据库命名 数据库名称包括项目名称、数据库类型,中间用下划线分割连
22、接。示例:yzt(项目名称)_my(数据库类型)6.3.2 数据表命名 6.3.2.1 普通表命名 普通表名称包括对接系统简称字母、对接库中对应的表名称,中间用下划线分割连接。示例:河北省智慧农机决策管理信息平台的监理站信息表(info_station)命名为:njjcpt_info_station。6.3.2.2 码表命名 码表名称按照basic_表名称进行命名。示例:码表_农业主体类命名为:basic_entities 码表规则 6.4.1 码表来源 a)根据对已对接的数据进行分析、归纳结果,将诸如分类代码、行业代码等反应数据类别且被多处调用的数据进行提炼,形成码表;b)依据相关法律法规、
23、行业标准提炼出码表数据,形成码表。6.4.2 码表列表 主要包括农产品种类、农业农村主体类、资源装备类,见附录C。7 数据交换共享 数据共享流程 数据共享前需进行数据基本约定即数据组成、数据脱敏、授权管理三部分工作,数据基本约定确认后对数据进行完整性、一致性、规范性、正确性、及时性等质量检查工作,最终形成共享数据。共享数据可以以“目录服务、数据共享接口”两种在线方式进行数据共享,也可以以“存储媒体复制”的形式进行离线共享,见图4。DB 13/T 61902025 8 图4 数据共享流程图 管理要求 7.2.1 提供者 提供者的管理职责包括但不限于:a)负责明确本部门提供的共享数据使用范围和使用
24、权限;b)负责本部门共享数据的组织、管理和更新;c)负责提出共享数据的安全要求;d)负责与使用者、管理者协商并确定共享数据、交换模式和更新周期;e)按管理者和使用者的反馈意见修正共享数据中存在的问题。7.2.2 管理者 管理者的管理职责包括但不限于:a)负责对数据共享流程进行规划、管理、部署;b)负责数据共享工作日常管理、监控、维护;c)负责控制共享数据的使用范围和使用权限;d)负责配合提供者更新数据,并及时公布共享目录;e)负责对提供者提交数据检查审核,若有疑义或有明显错误的,应及时反馈提供者予以校核;f)负责保证数据共享服务环境的安全。7.2.3 使用者 使用者的管理内容包括但不限于:a)
25、提出数据共享需求;b)负责与提供者、管理者协商并确定数据共享实体、交换模式、更新周期;c)在授权范围内使用共享数据,未经授权不得将数据提供给第三方;d)在数据使用过程中若发现问题和疑义,应及时向管理者反馈;e)负责已获取共享数据的安全。数据基本约定 7.3.1 数据组成 共享数据包括元数据和数据说明。7.3.2 数据脱敏 数据提供者在数据共享过程中应对数据脱敏,具体要求包括但不限于:a)应提供敏感数据检查工具,对共享数据进行分析,发现敏感数据;b)应对敏感数据建立数据脱敏安全策略,并按照安全策略进行脱敏;c)应根据数据使用者需求保留敏感数据的原数据格式、属性或关联;d)应对数据脱敏操作过程进行
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
| 下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB13 6190-2025 农业农村大数据采集和交换共享规范 6190 2025 农业 农村 数据 采集 交换 共享 规范
麦多课文档分享所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。



GB 311.1-2012 绝缘配合 第1部分 定义、原则和规则.pdf

