DB23 T 3211—2022 “互联网+监管”系统大数据中心数据质量规范.pdf

《DB23 T 3211—2022 “互联网+监管”系统大数据中心数据质量规范.pdf》由会员分享，可在线阅读，更多相关《DB23 T 3211—2022 “互联网+监管”系统大数据中心数据质量规范.pdf（6页珍藏版）》请在麦多课文档分享上搜索。

1、I C S 3 5.2 4 0.2 0C C S L 6 7DB23黑 龙 江 省 地 方 标 准D B 2 3/T 3 2 1 1 2 0 2 2“互 联 网+监 管”系 统 大 数 据 中 心数 据 质 量 规 范2 0 2 2-0 5-0 9 发 布 2 0 2 2-0 6-0 8 实 施黑 龙 江 省 市 场 监 督 管 理 局发 布D B 2 3/T 3 2 1 1 2 0 2 2前 言本 文 件 按 照 G B/T 1.1-2 0 2 0 给 出 的 规 则 起 草。请 注 意 本 文 件 的 某 些 内 容 可 能 涉 及 专 利。本 文 件 的 发 布 机 构 不 承 担 识

2、别 这 些 专 利 的 责 任。本 文 件 由 黑 龙 江 省 营 商 环 境 建 设 监 督 局 提 出 并 归 口。本 文 件 主 要 起 草 单 位：黑 龙 江 省 营 商 环 境 建 设 监 督 局、黑 龙 江 省 政 务 大 数 据 中 心、黑 龙 江 省 标 准 化研 究 院、天 阳 宏 业 科 技 股 份 有 限 公 司。本 文 件 主 要 起 草 人：王 艳、阚 洪 锦、姜 虹、景 艳 馥、彭 雪 松、刘 晓 华、刘 晨 鑫、王 增 仁、赵 成 立、郑 辉、陈 要 武、杨 大 志、吕 猛、王 磊、李 严、王 艳 君、刘 思 妤、张 敬。D B 2 3/T 3 2 1 1 2 0

3、 2 21“互 联 网+监 管”系 统 大 数 据 中 心 数 据 质 量 规 范1 范 围本 文 件 规 范 了 黑 龙 江 省“互 联 网+监 管”系 统 的 数 据 汇 聚 过 程 中 对 数 据 质 量 要 求 与 非 标 准 数 据 的 反馈 流 程。本 文 件 适 用 于 黑 龙 江 省“互 联 网+监 管”系 统 大 数 据 中 心 的 数 据 质 量 工 作。2 规 范 性 引 用 文 件下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款。其 中，注 日 期 的 引 用 文 件，仅 该 日 期 对 应 的

4、版 本 适 用 于 本 文 件；不 注 日 期 的 引 用 文 件，其 最 新 版 本（包 括 所 有 的 修 改 单）适 用 于 本文 件。D B 2 3/T 2 8 3 2-2 0 2 1“互 联 网+监 管”系 统 监 管 数 据 规 范 第 1 部 分：监 管 基 础 数 据D B 2 3/T 2 8 3 3-2 0 2 1“互 联 网+监 管”系 统 监 管 数 据 规 范 第 2 部 分：监 管 行 为 数 据D B 2 3/T 2 8 3 4-2 0 2 1“互 联 网+监 管”系 统 监 管 数 据 规 范 第 3 部 分：监 管 辅 助 数 据3 术 语 和 定 义下 列 术

5、 语 和 定 义 适 用 于 本 文 件。3.1“互 联 网+监 管”系 统 大 数 据 中 心按 照 国 家“互 联 网+监 管”系 统 相 关 数 据 标 准，汇 聚 本 省 监 管 数 据，建 设 监 管 数 据 中 心，形 成 各 类监 管 数 据 库，建 立 数 据 动 态 更 新 机 制，不 断 提 高 数 据 质 量，满 足 数 据 上 报、共 享、分 析 等 需 要。3.2数 据 质 量在 指 定 条 件 下 使 用 时,数 据 的 特 性 满 足 明 确 的 和 隐 含 的 要 求 的 程 度，确 保 数 据 的 及 时 性、完 整 性、准 确 性。3.3数 据 安 全数 据

6、 的 安 全 性、完 整 性 和 可 用 性。4 数 据 质 量4.1 目 标 与 范 围按 照 D B 2 3/T 2 8 3 2-2 0 2 1、D B 2 3/T 2 8 3 3-2 0 2 1 和 D B 2 3/T 2 8 3 4-2 0 2 1 的 规 定 执 行。对 汇 聚 上 报 的 数 据 进行 抽 取、清 洗、去 重、比 对、校 核、标 准 化 转 换、关 联 整 合 等 处 理 并 且 依 据 治 理 规 则 进 行 数 据 治 理，提升 并 入 省“互 联 网+监 管”系 统 大 数 据 中 心 基 础 库 的 数 据 质 量。D B 2 3/T 3 2 1 1 2 0

7、 2 224.1.1 质 量 目 标保 证 数 据 安 全，实 现 数 据 资 源 在 省“互 联 网+监 管”系 统 的 各 应 用 系 统 应 用 以 及 在 各 市（地）的 数据 共 享。4.1.2 数 据 范 围从 中 省 直 部 门、各 市（地）汇 聚 的 监 管 对 象、监 管 行 为、执 法 人 员、信 用 信 息、投 诉 举 报、互 联 网及 第 三 方 机 构 数 据、双 随 机 一 公 开 计 划 等 监 管 相 关 数 据。4.2 工 作 说 明数 据 质 量 的 主 要 工 作 是 针 对 接 入 的 数 据 启 动 数 据 治 理，对 于 发 现 的 数 据 质 量

8、问 题，要 启 动 错 误 数 据反 馈 流 程，协 同 中 省 直 部 门 和 各 市（地）的 数 据 源 方 共 同 处 理。为 了 中 省 直 部 门、各 市（地）上 报 的 数 据 完 整、可 用，通 过 数 据 治 理 处 理 过 的 数 据 问 题，能 够 自 动并 及 时 反 馈 给 中 省 直 部 门、各 市（地），中 省 直 部 门、各 市（地）获 取 到 数 据 质 量 报 告 后 及 时 重 新 把 相应 数 据 完 善 再 进 行 上 报。4.3 工 作 流 程4.3.1 工 作 流 程 图“互 联 网+监 管”系 统 数 据 汇 聚 工 作 流 程，见 图 1。图 1

9、 数 据 汇 聚 工 作 流 程 示 意 图4.3.2 数 据 采 集 入 库D B 2 3/T 3 2 1 1 2 0 2 23汇 入 省“互 联 网+监 管”系 统 大 数 据 中 心 的 数 据，纳 入 数 据 治 理 的 范 畴。中 省 直 部 门、各 市（地）通 过 省 政 务 信 息 共 享 交 换 平 台 实 现 监 管 数 据 发 布，省“互 联 网+监 管”系 统 通 过 订 阅 获 取 监 管 数 据，然后 将 中 省 直 部 门、各 市（地）的 监 管 数 据 加 载 进 入 省“互 联 网+监 管”系 统 的 汇 聚 库。4.3.3 数 据 质 量 核 查监 管 数 据

10、 进 入 监 管 数 据 汇 聚 库 后，对 每 类 数 据 配 置 治 理 规 则，对 于 接 入 的 数 据，启 动 质 量 核 查 流 程。将 通 过 质 量 检 核 的 监 管 数 据 进 入 大 数 据 中 心 主 题 库 和 专 题 库，并 将 数 据 质 量 检 核 的 过 程 及 结 果 生 成 检 核结 果 记 录 表 留 存 至 省“互 联 网+监 管”系 统 上；对 于 质 量 检 核 未 通 过 的 错 误 数 据 进 行 标 识 并 生 成 错 误 数据 表，在 汇 聚 库 进 行 数 据 治 理 后 的 错 误 数 据 进 入 数 据 治 理 错 误 库。4.3.4

11、 数 据 治 理 核 查 规 则监 管 数 据 从 监 管 数 据 汇 聚 库 进 入 监 管 大 数 据 专 题 库 和 主 题 库 时，按 照 D B 2 3/T 2 8 3 2-2 0 2 1、D B 2 3/T2 8 3 3-2 0 2 1 和 D B 2 3/T 2 8 3 4-2 0 2 1 规 定 执 行。4.3.5 错 误 数 据 反 馈治 理 后 的 的 错 误 数 据 标 识 针 对 中 省 直 部 门、各 市（地）通 过 服 务 注 册 进 行 数 据 服 务 发 布，由 相 应 的中 省 直 部 门、各 市（地）进 行 订 阅。中 省 直 部 门、各 市（地）订 阅 接

12、 收 到 该 错 误 数 据 后，进 行 核 对 处 理，并 及 时 再 汇 聚 上 报 正 确 的 监 管 数 据。4.3.6 错 误 数 据 订 阅4.3.6.1 中 省 直 部 门、各 市（地）都 有 一 张 对 应 的 数 据 治 理 错 误 库 表，在 省 政 务 信 息 共 享 平 台 订 阅 该数 据 资 源 目 录，获 取 到 错 误 数 据 反 馈 情 况。监 管 数 据 治 理 错 误 表（见 表 1）。生 成 需 要 治 理 的 数 据 记 录后，及 时 完 成 这 些 错 误 数 据 的 修 订 并 再 次 汇 聚 上 报 到 省“互 联 网+监 管”系 统。表 1 监

13、 管 数 据 治 理 错 误 表序号 字段名 中文名称 数据格式 必填项 备注1 c d _ l s h 自增流水号 N 2 0 是 自行插入2 t a b l e _ n a m e 数据表名 C 2 5 5 是 存在错误数据的数据表名3 c d _ i d 原数据主键编码 C 6 4 是错误数据原来的主键编码（原值），方便各部门查询到原数据4 o r g _ c o d e 部门编码 C 5 0 是 数据来源部门编码5 c d _ s o u r c e 数据来源系统编码 C 6 4 是 数据来源的系统编码6 c d _ b a t c h 数据批次号 C 3 2 是 批次号7 c d _

14、 t i m e 数据增量时间 D a t e T i m e 是 错误数据入库时间8 e r r o r _ d e t a i l 错误原因 T e x t 是 错误数据描述信息9 c r e a t e _ t i m e 错误数据治理时间 D a t e T i m e 是 错误数据治理时间省“互 联 网+监 管”系 统 应 每 天 统 计 数 据 治 理 错 误 库 表，统 计 每 天 有 多 少 条 不 符 合 治 理 规 则 的 数 据，按 照 数 据 来 源 系 统、部 门、数 据 增 量 时 间 分 组 将 统 计 结 果 存 入 省“互 联 网+监 管”市（地）工 作 进

15、展 情况 统 计 表。不 合 格 监 管 数 据 统 计 表（见 表 2）。D B 2 3/T 3 2 1 1 2 0 2 24表 2 不 合 格 监 管 数 据 统 计 表序号 字段名 中文名称 数据格式 必填项 备注1 a r e a _ n u m b e r 区划编码 C 6 是 数据来源部门所属区划编码2 a r e a _ n a m e 区划名称 C 1 5 0 是 数据来源部门所属区划名称3 o r g _ c o d e 部门编码 C 5 0 是 数据来源部门编码4 o r g _ n a m e 部门名称 C 1 5 0 是 数据来源部门名称5 c d _ s o u r c e 数据来源系统编码 C 6 4 是 原数据中字段6 i n v a l i d _ c o u n t 不合格数据条数 N 1 0 是 所有数据类型的不合格数据条数总和7 c d _ t i m e 数据增量时间 D a t e T i m e 是 原数据中字段8 s t a t i s t i c _ t i m e 统计时间 D a t e T i m e 是 此条数据生成时间