DB3302 T 1126-2021 公共数据管理 数据共享规范.pdf
《DB3302 T 1126-2021 公共数据管理 数据共享规范.pdf》由会员分享,可在线阅读,更多相关《DB3302 T 1126-2021 公共数据管理 数据共享规范.pdf(30页珍藏版)》请在麦多课文档分享上搜索。
1、 ICS 03.080.99 CCS A16 3302 浙江省宁波市地方标准 DB3302/T 1126 2021 公共数据 管理 数据 共享规范 Public data management specification for data sharing 2021-12-10 发布 2022-01-10 实施 宁波市市 场监督 管 理局 发 布 DB3302/T 1126 2021 I 目 次 前言.II 1 范围.3 2 规范 性引 用文 件.3 3 术语 和定 义.3 4 缩略 语.4 5 数据 归集.4 数 据资 源体 系架 构.4 5.1 归 集要 求.5 5.26 数据 共享.5 共
2、 享方 式.5 6.1 数 据共 享体 系.6 6.2 共 享要 求.6 6.37 共享 专题 库/数据 表建 设.7 共 享专 题库 的构 成.7 7.1 共 享专 题库/数 据表 表 名命名 规则.7 7.2 业 务表 数据 元组 成规 则.8 7.38 质量 评估.8 评 估维 度.8 8.1 评 估方 法.9 8.2 计 算方 法.9 8.3附录A(规范 性)公共 数据信 息类 别及 关键 索引 数据元.10 附录B(资料 性)核心 业务数 据元.12 参考文 献.29 图1 数据 资源 体系 架构.5 图2 数据 使用 示意 图.7 表1 数据 质量 评估 规则 及 编码.9 表A.
3、1 关 键索 引数 据元.10 表B.1 核 心业 务数 据元.12 DB3302/T 1126 2021 II 前 言 本文件 按照GB/T 1.1 2020 标准 化工 作导则 第1 部分:标准化 文件 的结构 和起草 规则 的规 定起草。请注意 本文 件的 某些 内容 可能涉 及专 利。本文 件的 发布机 构不 承担 识别 专利 的责任。本文件 由宁 波市 大数 据发 展管理 局提 出 并 归口。本文件 起草 单位:宁 波市 大数据 发展 管理 局、宁波 市标准 化研 究院、杭 州数 政科技 有限 公司。本文件 主要 起草 人:杜 永 华、俞文 群、谢 先龙、朱 宝剑、邓 德苏、吴建 港
4、、王霄翔、许司 琪、闫连玉、彭 卫华、王 冲。DB3302/T 1126 2021 3 公 共数据 管理 数据 共享规 范 1 范围 本文件 规定了 公共 数据共 享相关 术语和 定义、缩略 语以及 数据归 集、数据共 享、共 享专题 库/数据表和质 量评 估 的 要求。本文件 适用 于公 共数 据在 归集、共享、质 量评 估 等 环节的 管理。2 规范性 引用 文件 下列文 件中 的内 容通 过文 中的规 范性 引用 而构 成本 文件必 不可 少的 条款。其 中,注日 期的 引用 文件,仅该日 期对 应的 版本 适用 于本文 件;不注 日期 的引 用文件,其 最新 版本(包 括所有 的修 改
5、单)适 用 于 本文件。GB/T 7408 数 据元 和交 换 格式 信息 交换 日期 和时 间表示 法 GB 11643 公民 身份 号码 GB 32100 法人 和其 他组 织统一 社会 信用 代码 编码 规则 DB33/T 2350-2021 数字 化改革 术语 定义 DB33/T 2351 数字 化改 革 公共 数据 分类 分级 指南 3 术语和 定义 DB33/T 2350-2021 界 定的 以及下 列术 语和 定义 适用 于本文 件。3.1 公共数 据 public data 国家机 关、法律 法规 规章 授权的 具有 管理 公共 事务 职能的 组织,在 依法 履行 职责和 提供
6、 公共 服 务 过程中,所获 取 和 产生 的数 据资源 以及 法律、法 规规 定纳入 公共 数据 管理 范围 的其他 数据 资源。来源:DB33/T 2350-2021,定义3.2.2.1,有 修改 3.2 数据高 铁 high-speed data 通过数 据库 的日 志采 集、解析、入库 等手 段,提高 公共数 据传 输速 度、准确 度、完 整度 的数 据 归 集方式。来源:DB33/T 2350-2021,定义3.2.2.7 3.3 实时归 集 real-time collection 通过数 据高 铁模 式由 日志 同步实 现数 据实 时归 集的 方式。3.4 数据仓 data wa
7、rehouse 国家机 关以 及具 有公 共事 务管理 职能 的组 织采 集和 获取的,随时 间动 态更 新,信息类 型、格 式等 相对稳定 的各 类公 共数 据资 源集合。来源:DB33/T 2350-2021,定义3.2.2.8 3.5 接口共 享 interface Sharing DB3302/T 1126 2021 4 通过接 口 进 行数 据共 享 的 方式。3.6 大数据 处理 分析 系统 max compute 一种快 速、完全 托管 的GB/TB/PB 级数 据仓 库解 决方 案。提供 了完 善的 数据 导入 方案以 及多 种经 典的分布式 计算 模型,能 够更 快速的 解决
8、 海量 数据 计算 问题,有效 降低 成本,并 保障数 据安 全。3.7 数源部 门 data-source department 共享数 据提 供部 门。3.8 数据使 用部 门 data use department 申请使 用共 享数 据的 部门。3.9 专题库/数 据表 thematic data base/table 对治理 后的 数据 进行 专项 分类形 成可 应用 的库/表。3.10 数据元 data element;DE 用一组 属性 规定 其定 义、标识、表示 和允 许值 的数 据单元。来源:GB/T 18391.1 2009,定 义3.3.8 4 缩略语 下列缩 略语 适用
9、 于本 文件。HTTPS:以安 全为目 标的HTTP 通道,在HTTP 的 基础上 通过传 输加密 和 身 份认证 保证了 传输过 程 安 全性(Hyper Text Transfer Protocol over Secure Socket Layer)SSL:安全 套接 字协 议(Secure Sockets Layer)IRS:一体 化资 源系 统(Integrated Resources System)RDS:云数 据库(Relational Database Service)5 数据归集 数据资 源体 系架 构 5.1 数据资 源体 系架 构见 图1。DB3302/T 1126 202
10、1 5 市公共数据平 台省平台 大数据处 理分析系统市平台大数据处理分析系统省公共数 据平台区 县归集 数据 市归 集数据市政务云数据回流接口封装数据回流一体 化资源系 统(IRS)感 知数据特 色数据市 下发 数据镇 街数 据仓专 题库县 级平台感 知数据特 色数据省下发数据区县数据仓专题 库市级数据仓基础库专题库省 数据中心地市数据仓省部门数据仓 图1 数据资 源体 系架 构 归集要求 5.2 5.2.1 市级平 台按 照省 市平 台建 设责任 分工,建 立完 善的 数据归 集系 统。5.2.2 县级平 台按 需建 设数 据归 集系统,建 立本 地数 据归 集能力,实 现县 域数 据归 集
11、。5.2.3 市县平 台数 据归 集系 统采 用以下 两种 技术 模式:数据交 换模 式:通过 库表 桥接方 式实 现数 据归 集,数据高 铁模 式:通过 数据 库的日 志采 集、解析、入 库等手 段,提高 公共 数据 传输速 度、准确度、完 整度 的数 据归 集模 式。5.2.4 数据交 换模式 的交 换体系 应包含 数据交 换系 统、交 换前置 节点、交换 中心、桥接、数据传 输、交换监 控等 模块,应 支持 数据库、文 件的 归集 方式。5.2.5 市级平 台的数 据高 铁系统 应具有 县级数 据高 铁专属 通道和 管理模 块,以满足 县级平 台本地 数 据实时归 集需 求。5.2.6
12、数据高 铁模 式的 实时 归集 系统应 包含 数据 采集 系统 工具部 署、数据 实时 仓管 理、运 维管 理系 统。实时归 集的 实施 包含 对各 业务系 统的 数据 采集 技术 支持和 系统 对接 联调。实 时 归集运 维服 务包 含运 维 流程规范 制定、监 控 搭 建、技术整 改、文档 收集、运 维评估 等。6 数据共 享 共享方式 6.1 6.1.1 接口共 享 6.1.1.1 接口共 享系统 实现 市县两 级复用,市接 口共 享系统 与省接 口共享 系统 实现对 接和封 装。市 级平台应 通过 身份 认证、权 限管理、密 钥认 证、数据 加密、白名 单机 制、HTTPS 协议、SS
13、L 证 书等 技 术 措施,保 障数 据接口 共 享系 统在数 据使 用与 传输 过程 中的网 络安 全与 数据 安全。DB3302/T 1126 2021 6 6.1.1.2 共享接 口系 统调 用响 应时 间应低 于 1500ms。高频 调 用接口 可支 撑每 秒 500 次 并发量;低频 调用接口 可支 撑每 秒100 次 并发量。6.1.2 批量共 享 6.1.2.1 库表授 权 市级公 共数 据平 台提 供统 一的大 数据 分析 处理 系统 环境,各应 用部 门通 过库 表 授权 方式,实 现 批 量数据共 享使 用。处 理后 的 结果数 据根 据数 据内 容的 分类分 级标 准,经
14、 过对 应 审批后,通过 生成 接口 或 批量导出 方式 使用。6.1.2.2 数据回 流 省、市、县级 平 台之 间的 批量数 据回 流:a)省通过 库表 授权 的方 式,将省里 涉及 地市 的数 据授 权 给市 级数据 仓;b)市通过 库表 授权 的方 式,将市里 涉及 县级 的数 据授 权给县 级 数 据仓。数据共 享体 系 6.2 6.2.1 数据共 享体 系由 数源 部门、公共 数据 主管 部门、数 据使用 部门 组成。6.2.2 公共数 据主管 部门 负责平 台建设、管理,数 据编目、分类 分级、归集、共享 以及特 色数据 仓 建设实施,负 责本 级数 据使 用部门 共享 数据 申
15、请 的审 批管理 工作。共享要 求 6.3 6.3.1 共享申 请 数据 使 用部 门通 过省IRS 系 统在线 提出 数据 共享 需求,要素 应包 括但 不限 于:数据需 求部 门,联系人,联系方 式,应用场 景,申请理 由,需求数 据项,数源单 位。6.3.2 数据使 用 市公共 数据平 台内 的数据 使用(见图2)可通 过批 量 数据导 出或接 口服 务方式 将大数 据分析 处理 系统内处 理分 析后 的结 果数 据透出 至云 服务 器或 数据 库:批量导 出:应提 交数 据导 出申请 至数 据主 管部 门,数据主 管部 门审 批通 过后,由实 施人 员进行数据 导出 授权,实 施完 成
16、后方 可导 出数 据。导出 后的数 据不 能用 于申 请范 围以外 的使 用途径;接口导 出:应提 交接 口申 请至数 据主 管部 门,数据 主管部 门审 批通 过后,由 实施人 员生 成发布接口,生 成接 口过 程中 涉及的 数据 导出 至RDS 流 程无需 审批,实 施完 成后 提供接 口调 用信息。DB3302/T 1126 2021 7 使 用dataworks(数据 开发平 台)数 据集成工 具同步数据至RDS(无需审批)API 使用dataworks(数据开 发平台)数 据服务功能生 成API 接口接 口平 台 接口 注册 接口 调用 接 口服 务申 请/审批 批 量导 出申 请/
17、审 批 使 用dataworks(数据 开 发平 台)数 据 集成 工 具导 出 数据一体化智 能化公共数据平 台ODPS(大数据处理分析系统)市级 数据仓区县 数据仓申请审批库表申请RDS(云数 据 库)业 务应 用RDS(云 数 据库)ECS(云服 务器)图2 数据使 用 示 意图 7 共享专 题库/数 据表 建设 共享专 题库 的构 成 7.1 7.1.1 字典表 字典表 是对 各数 据表 字段 要素信 息的 总体 描述,应 包括但 不限 于:要素名 称,代码,关联关 系,属性内 容,表示方 法。7.1.2 代码表 字典类 指标 的输 入值 有特 定的数 据集 合,即 值域 字 典,一般
18、 包含 由代 码和 含 义组成 的键 值对,键值对的代 码可 定长 也可 不定 长;代 码由 相关 业务 部门 制定编 码规 则;字典 类指 标包含 行政 区划、性 别、行业代码 等。字典 类指 标应 符合:字典类 字段 应提 供对 应字 典表,字段存 储值 不应 超出 字典 范围,字段类 型:VARCHAR。7.1.3 业务数 据表 应由核 心业 务数 据元 和扩 展业务 数据 元 组 成,且能 反映核 心业 务指 标。共享专 题库/数 据表 表名 命 名规则 7.2 7.2.1 业务数 据表 表名 命名 规则:区域简 称+部门 简称+业务 系统名+核 心业 务+表_ 扩 展。具体 要求 如
19、下:DB3302/T 1126 2021 8 a)区域简 称:规范 化简 称,b)部门简 称:规范 化简 称,c)业务系 统名:业 务系 统登 记名,d)核心业 务:一 般4 6 个 中 文字,且能 反映 业务 核心 内容,e)表_扩展:表类 型 的 说明,如字典 表、代码 表。示例:宁波市交通局公交运营 平台司机登记表、宁波市交通局 公交运营平台司机登记表_ 字典。7.2.2 共享专 题库 名命 名规 则:区域简 称+核心 业务+专题 库_扩 展。具体 要求 如下:a)区域简 称:规范 化简 称,b)核心业 务:能反 映一 类相 关核心 业务 的名 称,c)其他:英 文的 共享 专题 库/数
20、据表 表名 在中 文名 称的 基础上,采用 首位 拼音 字 母组合 而成,如出 现 重名 情 况时,将 核 心业 务 部分 采 用中 文名 的 全部 拼 音字 母 代替,如 仍 有重 名,则 通过增加扩展 部分 进行 区分。示例:宁波市司机专题库、宁波市营运车辆专题库。业务表 数据 元组 成规 则 7.3 7.3.1 组成规 则 7.3.1.1 业务表 内的 数据 元由 关键 索引数 据元、核 心业 务数 据元、扩展 业务 数据 元三 部分组 成。7.3.1.2 关键索 引数 据元 应符 合附 录 A 的 要求;核 心业 务数 据元应 符合 附 录B 的 要求。7.3.2 关键索 引数 据元
21、关键索 引数 据元 的数 据内 容一般 采用 编码 形式:身份证 件号 码应 符 合 GB 11643 的要 求,统一社 会信 用代 码应 符 合GB 32100 的要 求,其他关 键索 引 数 据元 编码 应符合 数源 部门 的编 码规 则。7.3.3 核心业 务数 据元 核心业 务数 据元 应描 述业 务的关 键和 基本 属性。7.3.4 扩展业 务数 据元 在核心 业务 数据 元基 础上,随着 业务 数据 表的 共享 使用,所产 生的 扩展 业务 属性或 关联 业务 索 引 数据元。8 质量评估 评估维 度 8.1 数据质 量评 估维 度可 从7 个 维度来 评估 数据 是否 达到 预期
22、设 定的 质量 要求,主 要内容 如下:完整性:用 于度 量数 据丢 失率 或 数据 不可 用 率,准确性:用 于度 量 数 据和 信息的 正确 率,及时性:用 于度 量数 据更 新的及 时率 规范性:用 于度 量数 据 按 统一格 式、规范 存储 的比 例,唯一性:用 于度 量数 据的 重复率,一致性:用 于度 量 数 据的 值在信 息含 义上 的不 一致 率,DB3302/T 1126 2021 9 关联性:用 于度 量关 联数据 的缺失 率。评估方 法 8.2 采用计 算机方 式进 行评估,按照 一定的 编码 规则对 评估规 则进行 编码,评估 规则编 码定长4位,分为两段,第 一段 占
23、1码 位,为第1 位,用 大写 字母AF 表示,第二 段占3 码位,为 第2 4 位,从001 开始 顺序编码,具 体评 估规 则及 编码见 表1:表1 数据质 量评 估规 则及 编码 维度 编码 评估规则 A 完整性 A001 校验主要字段是否为空 B 准确性 B001 检验数值是否异常 B002 校验数据含有TAB/ENTER 键 B003 检验字段首部是否含有空格 B004 检验字段尾部是否含有空格 C 及时性 C001 检验字段数据更新的及时性 D 规范性 D001 校验字段长度 D002 检验字段是否超出字典范围 D003 检验字段是否含有特殊字符 D004 检验字段是否含有给定字符
24、以外的特殊字符 D005 检验字段是否含有特定字符 D006 检验字段是否含有除特定字符外的字符 D007 检验字段格式是否规范 D008 检验字段是否符合编码规则 E 唯一性 E001 校验主键是否重复 E002 校验记录是否重复 F 一致性 F001 检验字段A 与字段B 是否一致 F002 检验字段记录的统一性 G 关联性 G001 检验字段A 与字段B 逻辑关系 计算方 法 8.3 通过公 式1 计算 得到 每条 规 则的分 值,利用 评估 模型 得到数 据集 的数 据质 量分:=1=1(1)式中:F j 数据D j 的质 量分;W j 规则R i 的权 重;S i 规则R i 的 分
25、值。DB3302/T 1126 2021 10 A A 附录A(规范 性)公共数 据信 息类 别及 关键 索引数 据元 公共数 据元经 按业 务内容 分类,由两段3位编 码进 行 标识。第一段 三位 数字为 一级分 类,第 二段 三位数字 为二 级分 类。各类 别信息 的关 键索 引数 据元 见表A.1。示例:“自 然 人 职 业 信息”的 类别 标识 符 为“001002”,其 中 前 三位 为“001”为 所 属 一级 分 类,即“自 然 人 基 本信息类”,后三位“002”为在 二级分类中的顺序号。表A.1 信息类 别及 关键 索引 数据 元 表 标识符 信息类别 关键索引数据元 001
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB3302 1126-2021 公共数据管理 数据共享规范 1126 2021 公共 数据管理 数据 共享 规范
