DB3308 T 050-2018 政务服务数据仓建设规范.pdf

《DB3308 T 050-2018 政务服务数据仓建设规范.pdf》由会员分享，可在线阅读，更多相关《DB3308 T 050-2018 政务服务数据仓建设规范.pdf（11页珍藏版）》请在麦多课文档分享上搜索。

1、ICS 01.040.03A 12 DB3308浙 江 省 衢 州 市 地 方 标 准DB3308/T 050 2018政 务 服 务 数 据 仓 建 设 规 范 2018 -09-11发 布 2018-10- 11实 施衢 州 市 质 量 技 术 监 督 局 发 布 DB3308/T 0502018 I 目 次前 言 .II1 范 围 .12 规 范 性 引 用 文 件 .13 术 语 和 定 义 .14 基 本 原 则 与 要 求 .35 数 据 架 构 .36 建 设 要 求 .37 数 据 开 发 .6 DB3308/T 0502018 II 前 言本 标 准 按 照 GB/T 1.1

2、-2009给 出 的 规 则 起 草 。本 标 准 由 衢 州 市 行 政 服 务 中 心 管 理 办 公 室 提 出 并 归 口 。本 标 准 起 草 单 位 ： 衢 州 市 行 政 服 务 中 心 管 理 办 公 室 、 浙 江 衢 时 代 大 数 据 科 技 有 限 公 司 、 浙 报 浙 数 文化 集 团 股 份 有 限 公 司 、 浙 江 省 方 大 标 准 信 息 有 限 公 司 、 衢 州 市 质 量 技 术 监 督 检 测 中 心 （ 衢 州 市 标 准 化 研究 院 ） 。本 标 准 主 要 起 草 人 ： 洪 寒 月 、 李 文 阳 、 袁 琼 、 李 靖 翔 、 楚 龙

3、、 叶 华 飞 、 何 琳 、 潘 旭 峰 、 张 理 敏 、 祁劲 松 。 DB3308/T 0502018 1 政 务 服 务 数 据 仓 建 设 规 范1 范 围本 标 准 规 定 了 衢 州 政 务 服 务 数 据 仓 的 基 本 要 求 、 数 据 架 构 、 建 设 要 求 、 数 据 开 发 等 内 容 。本 标 准 适 用 于 衢 州 政 务 服 务 数 据 仓 的 建 设 。2 规 范 性 引 用 文 件下 列 文 件 对 于 本 文 件 的 应 用 是 必 不 可 少 的 。 凡 是 注 日 期 的 引 用 文 件 ， 仅 所 注 日 期 的 版 本 适 用 于 本 文件

4、。 凡 是 不 注 日 期 的 引 用 文 件 ， 其 最 新 版 本 （ 包 括 所 有 的 修 改 单 ） 适 用 于 本 文 件 。GB/T 21062.3 政 务 信 息 资 源 交 换 体 系 第 3部 分 ： 数 据 接 口 规 范 GB/T 20270 信 息 安 全 技 术 网 络 基 础 安 全 技 术 要 求GB/T 20271 信 息 安 全 技 术 信 息 系 统 通 用 安 全 技 术 要 求GB/T 28452 信 息 安 全 技 术 应 用 软 件 系 统 通 用 安 全 技 术 要 求GB/T29765 信 息 安 全 技 术 数 据 备 份 与 恢 复 产 品

5、 技 术 要 求 与 测 试 评 价 方 法 浙 江 政 务 服 务 网 技 术 规 范 第 二 部 分 数 据 交 换 技 术 规 范 浙 江 政 务 服 务 网 技 术 规 范 第 三 部 分 数 据 交 换 信 息 规 范 浙 江 省 公 共 数 据 共 享 交 换 技 术 规 范 (试 行 )3 术 语 和 定 义下 列 术 语 和 定 义 适 用 于 本 文 件 。3.1 云 平 台具 有 提 供 云 服 务 器 、 开 放 结 构 化 数 据 服 务 ， 开 放 缓 存 服 务 等 服 务 的 能 力 ， 用 于 相 关 配 套 系 统 的 部 署 。同 时 云 平 台 还 需 拥

6、 有 提 供 云 数 据 库 、 分 布 式 关 系 型 数 据 库 服 务 以 及 基 于 开 放 存 储 服 务 构 建 的 大 数 据 平 台的 能 力 ， 便 于 在 整 体 的 建 设 过 程 中 ， 根 据 数 据 的 规 模 按 需 进 行 技 术 选 型 。3.2 云 数 据 库具 有 多 重 安 全 防 护 措 施 和 完 善 的 性 能 监 控 体 系 ， 并 提 供 专 业 的 数 据 库 备 份 、 恢 复 及 优 化 方 案 的 一 种即 开 即 用 、 稳 定 可 靠 、 可 弹 性 伸 缩 的 在 线 数 据 库 服 务 。3.3 开 放 存 储 服 务云 平 台

7、 提 供 的 海 量 、 安 全 和 高 可 靠 的 云 存 储 服 务 。 3.4 DB3308/T 0502018 2 分 布 式 关 系 型 数 据 库 服 务水 平 拆 分 、 可 平 滑 扩 缩 容 、 可 读 写 分 离 的 在 线 分 布 式 数 据 库 服 务 。3.5 开 放 结 构 化 数 据 服 务构 建 在 云 平 台 分 布 式 系 统 之 上 的 NoSQL数 据 服 务 ， 以 实 例 和 表 的 形 式 组 织 数 据 ， 通 过 数 据 分 片 和 负载 均 衡 技 术 ， 实 现 规 模 上 的 无 缝 扩 展 。3.6 开 放 缓 存 服 务在 线 缓 存

8、 服 务 ， 为 热 点 数 据 的 访 问 提 供 高 速 响 应 。3.7 元 数 据描 述 数 据 的 数 据 ， 对 数 据 及 信 息 资 源 的 描 述 性 信 息 。3.8 数 据 映 射给 定 两 个 数 据 模 型 ， 在 模 型 之 间 建 立 起 数 据 元 素 的 对 应 关 系 的 过 程 。3.9 维 度 表维 度 属 性 的 集 合 。3.10事 实 表 数 据 仓 结 构 中 的 中 央 表 ， 包 含 联 系 事 实 与 维 度 表 的 数 字 度 量 值 和 键 。3.11主 题在 较 高 层 次 上 将 企 业 信 息 系 统 中 的 数 据 进 行 综

9、合 、 归 类 和 分 析 利 用 的 一 个 抽 象 概 念 。3.12数 据 源提 供 某 种 所 需 要 数 据 的 载 体 。3.13政 务 服 务 数 据 仓政 务 服 务 运 行 过 程 中 ， 为 各 类 应 用 系 统 提 供 所 有 类 型 、 海 量 数 据 支 持 的 数 据 集 合 与 战 略 集 合 。 4 基 本 原 则 与 要 求4.1 基 本 原 则 DB3308/T 0502018 3 文 件 命 名 习 惯 等 保 持 统 一 ， 编 制 符 合 “ 统 一 性 ” 原 则 ， 包 括 但 不 限 于 ： 模 型 层 次 命 名 、 主 题 域 命 名 、数

10、 据 模 型 命 名 、 工 作 流 任 务 命 名 等 的 统 一 性 ， 还 包 括 开 发 过 程 以 及 问 题 处 理 方 式 的 统 一 性 。4.2 基 本 要 求规 范 数 据 仓 的 开 发 过 程 ， 降 低 开 发 难 度 ， 保 障 开 发 质 量 ， 避 免 因 开 发 不 规 范 问 题 导 致 的 重 复 开 发 以及 返 工 等 问 题 。5 数 据 架 构数 据 仓 的 建 设 是 一 个 整 体 性 工 作 ， 数 据 从 产 生 到 入 库 的 整 体 环 节 应 尽 量 遵 循 数 据 架 构 图 进 行 建 设 ，各 环 节 采 用 一 套 标 准 。

11、 数 据 仓 建 设 数 据 架 构 图 如 下 图 1所 示 。 图 1 数 据 仓 建 设 数 据 架 构 图6 建 设 要 求6.1 部 署 环 境 选 型政 务 服 务 数 据 仓 整 体 相 关 建 设 内 容 应 统 一 基 于 衢 州 市 政 务 云 平 台 进 行 构 建 。6.2 数 据 仓 模 型 层 次政 务 服 务 数 据 仓 模 型 层 次 表 如 表 1所 示 。 DB3308/T 0502018 4 表 1 数 据 仓 模 型 层 次 表分 层 名 英 文 全 称 中 文 名 层 次 定 义ADS Application Data Summary 应 用 数 据

12、层 实 现 功 能 ： 该 层 为 应 用 数 据 层 ， 根 据 业 务需 求 组 织 数 据 ， 该 层 定 期 需 要 定 期 review，将 公 共 指 标 沉 淀 到 DWS中 。数 据 来 源 范 围 ： DWS、 DWD。数 据 存 储 时 长 ： 根 据 业 务 需 求 状 况 保 留 。DWS Data Warehouse Summary 基 础 标 签 层 实 现 功 能 ： 该 层 为 基 础 标 签 层 ， 主 要 有 统计 汇 总 或 算 法 产 生 的 基 础 数 据 标 签 ， 按 不同 维 度 进 行 统 计 ， 主 要 操 作 包 括 基 于 业 务整 合

13、、 关 联 计 算 得 到 的 明 细 数 据 ； 着 力 公共 指 标 、 排 序 聚 合 得 到 的 汇 总 数 据 。数 据 来 源 范 围 ： DWD、 ODS。 数 据 存 储 时 长 ： 根 据 业 务 需 求 状 况 保 留 。DWD Data Warehouse Detail 基 础 数 据 层 实 现 功 能 ： 该 层 为 基 础 数 据 层 ， 主 要 操 作包 括 数 据 清 洗 、 数 据 过 滤 、 数 据 历 史 变 更记 录 等 。数 据 来 源 范 围 ： 此 层 数 据 来 源 于 ODS。数 据 存 储 时 长 ： 根 据 业 务 需 求 状 况 保 留

14、。ODS Operational Data Store 源 数 据 接 入 层 实 现 功 能 ： 业 务 源 系 统 数 据 接 入 到 此 层 ，此 层 数 据 不 做 任 何 加 工 ， 禁 止 重 复 进 入 。数 据 来 源 范 围 ： 业 务 源 系 统 。数 据 存 储 时 长 ： 永 久 。 DIM Dimension 公 共 维 表 实 现 功 能 ： 该 层 为 公 共 维 表 层 ， 该 层 独 立于 DWD、 DWS、 ADS， 为 DWD、 DWS、 ADS提 供维 度 字 段 说 明 。数 据 来 源 范 围 ： ODS。数 据 存 储 时 长 ： 根 据 业 务

15、需 求 状 况 保 留 。6.3 主 题 域 划 分6.3.1 政 务 服 务 数 据 仓 逻 辑 模 型 的 设 计 采 用 自 顶 而 下 的 方 法 ， 将 需 求 涉 及 范 围 内 的 业 务 对 象 从 高 度 概括 的 概 念 层 次 归 类 ， 再 针 对 各 个 主 题 设 计 实 体 关 系 图 。 由 于 主 题 域 的 划 分 与 实 际 需 求 存 在 较 强 关 联 且 存在 迭 代 的 情 况 ， 故 仅 就 部 分 主 题 域 以 示 列 出 ， 作 为 相 关 建 设 的 参 考 ， 如 表 2 所 示 。表 2 数 据 仓 系 统 主 题 域 示 例 表主

16、题 中 文 名 英 文 全 称 英 文 简 称 物 理 表 前 缀城 *通 T*c Tc tc 城 *疗 M*h Mh mh城 *育 C*e Ce ce DB3308/T 0502018 5 表 2 数 据 仓 系 统 主 题 域 示 例 表 （ 续 ）主 题 中 文 名 英 文 全 称 英 文 简 称 物 理 表 前 缀市 *理 C*z Cz cz6.3.2 数 据 仓 系 统 主 题 域 细 化 划 分 示 例 如 表 3 所 示 。表 3 数 据 仓 系 统 主 题 域 细 化 示 例 表主 题 中 文 名 英 文 全 称 英 文 简 称 物 理 表 前 缀 所 属 父 主 题基 *息

17、B*c Bas bas 城 *通 定 *息 G*m Gps gps 城 *通地 *置 L*n Loc loc 城 *通交 *件 E*t Evt evt 城 *通交 *制 C*l Ctl ctl 城 *通交 *行 O*n Opt opt 城 *通6.4 数 据 模 型 命 名数 据 模 型 命 名 形 式 及 规 则 如 表 4所 示 。 表 4 数 据 模 型 命 名 规 则 表序 号 类 型 命 名 形 式 规 则 说 明1 ODS层 实体 /表 名 ods_ 1.命 名 内 容 采 用 英 文 简 称 或 拼 音 ；2.使 用 英 文 小 写 字 母 ， 单 词 或 拼 音 词 组 之 间

18、用 下 划 线 分 开 ， 总 长 度 建 议 不 超 过 30 个 字 符 ；2 DIM域 实体 /表 名 dim_ 1.命 名 内 容 采 用 英 文 简 称 或 拼 音 ；2.使 用 英 文 小 写 字 母 ， 单 词 或 拼 音 词 组 之 间用 下 划 线 分 开 ， 总 长 度 建 议 不 超 过 30 个 字 符 ； 3 临 时 表命 名 TMP_XX 1.以 TMP打 头 ， 中 间 为 该 事 实 表 的 名 称2.以 XX 结 尾 ， XX为 从 01 99的 数 字 ； DB3308/T 0502018 6 表 4 数 据 模 型 命 名 规 则 表 （ 续 ）序 号 类

19、 型 命 名 形 式 规 则 说 明4 ADS层 实体 /表 名 ads_ _B 1.命 名 内 容 采 用 英 文 简 称 或 拼 音 ；2.使 用 英 文 小 写 字 母 ， 单 词 或 拼 音 词 组 之 间用 下 划 线 分 开 ， 总 长 度 建 议 不 超 过 30 个 字 符 ；3.B为 可 选 项 ， 区 分 更 新 周 期 ， 若 为 d 则表 示 为 日 表 ， w 则 表 示 为 周 表 ， m 则 表 示为 月 表 ； y 表 示 年 分 区 ； p 则 表 示 为 不 规则 周 期 表 ； A ： 表 示 汇 总 表 （ 无 分 区 ， 或 每个 分 区 都 为 全

20、量 数 据 ） 5 DWD层 实体 /表 名 dwd_ _ _B 1.命 名 内 容 采 用 英 文 简 称 或 拼 音 ；2.使 用 英 文 小 写 字 母 ， 单 词 或 拼 音 词 组 之 间用 下 划 线 分 开 ， 总 长 度 建 议 不 超 过 30 个 字 符 ；3.B为 可 选 项 ， 区 分 更 新 周 期 ， 若 为 d 则表 示 为 日 表 ， w 则 表 示 为 周 表 ， m 则 表 示为 月 表 ； y 表 示 年 分 区 ； p 则 表 示 为 不 规则 周 期 表 ； A ： 表 示 汇 总 表 （ 无 分 区 ， 或 每个 分 区 都 为 全 量 数 据 ）6

21、 DWS层 实体 /表 名 dws_ _ _B 1.命 名 内 容 采 用 英 文 简 称 或 拼 音 ；2.使 用 英 文 小 写 字 母 ， 单 词 或 拼 音 词 组 之 间用 下 划 线 分 开 ， 总 长 度 建 议 不 超 过 30 个 字 符 ；3.B为 可 选 项 ， 区 分 更 新 周 期 ， 若 为 d 则表 示 为 日 表 ， w 则 表 示 为 周 表 ， m 则 表 示为 月 表 ； y 表 示 年 分 区 ； p 则 表 示 为 不 规则 周 期 表 ； A ： 表 示 汇 总 表 （ 无 分 区 ， 或 每 个 分 区 都 为 全 量 数 据 ）6.5 前 置 数

22、 据 仓 建 设6.5.1 政 务 服 务 数 据 仓 在 实 际 建 设 过 程 中 ， 为 避 免 对 数 据 源 形 成 强 干 扰 ， 以 及 多 源 复 杂 情 况 下 数 据 迁移 工 作 需 要 的 考 虑 ， 一 般 不 会 采 取 直 联 生 产 环 境 的 方 式 将 数 据 源 的 数 据 获 取 到 政 务 服 务 数 据 仓 。 因 此 需要 建 立 至 少 一 个 前 置 数 据 仓 （ 一 般 为 传 统 关 系 型 数 据 库 ） ， 作 为 数 据 迁 移 进 仓 整 体 传 输 过 程 的 前 置 节 点 。6.5.2 相 关 前 置 数 据 仓 的 建 设

23、 内 容 应 主 要 参 考 政 务 服 务 数 据 仓 ODS层 进 行 设 计 与 建 设 ， 以 减 少 后 续 数据 迁 移 入 库 的 工 作 量 。7 数 据 开 发7.1 数 据 维 度 DB3308/T 0502018 7 7.1.1 应 合 并 来 自 不 同 数 据 源 的 数 据 ， 每 个 维 度 进 行 标 准 化 、 统 一 化 ， 在 数 据 仓 中 为 每 个 维 度 建 立 一致 性 的 标 准 ， 记 录 在 维 度 表 中 ， 并 通 过 元 数 据 与 数 据 映 射 组 合 的 方 式 进 行 描 述 ， 方 便 后 续 的 数 据 交 叉 探查 等

24、工 作 。7.1.2 应 为 每 个 维 度 建 立 标 准 化 的 编 码 方 式 ， 以 及 数 据 格 式 。7.1.3 应 在 建 立 标 准 化 的 编 码 方 式 后 ， 将 各 源 系 统 中 数 据 中 的 维 度 数 据 进 行 关 联 转 换 ， 将 不 同 数 据 源标 识 同 一 事 物 的 不 同 属 性 值 进 行 统 一 。7.1.4 对 于 不 同 系 统 的 不 同 维 度 ， 创 建 维 度 的 映 射 关 系 表 ， 将 其 映 射 到 标 准 化 后 的 维 度 上 。7.2 数 据 格 式在 ODS层 实 施 过 程 中 ， 需 要 将 各 源 系 统

25、 的 数 据 格 式 进 行 统 一 。 统 一 的 数 据 格 式 示 例 如 表 5所 示 。表 5 数 据 格 式 统 一 示 例 表 格 式 类 型 统 一 格 式 示 例日 期 yyyyMMdd， 默 认 为 19000101 20151212时 间 HHmmss， 默 认 为 000000 121314字 符 串 去 除 头 尾 空 格 ， 去 除 回 车 ， 默 认 为 NULL Trim( 政 务 服 务 )整 型 默 认 为 0（ 可 根 据 具 体 业 务 类 型 调 整 ） ，双 精 度 默 认 保 留 4位 小 数 位 （ 可 根 据 具 体 业 务 调 整 ） 7.3

26、 文 件 组 织 方 式7.3.1 根 据 主 题 域 的 不 同 ， 在 数 据 开 发 /手 动 任 务 中 ， 分 别 建 立 相 对 应 的 文 件 层 级 目 录 ， 文 件 夹 名 称 即为 数 据 层 级 /主 题 域 /数 据 库 对 象 的 描 述 信 息 ， 叶 子 节 点 为 数 据 库 对 象 的 名 称 作 为 文 件 的 名 称 ， 原 则 上 数据 开 发 与 手 动 任 务 目 录 下 的 文 件 组 织 形 式 应 保 持 一 致 。 文 件 组 织 方 式 如 图 2 所 示 。 图 2 文 件 组 织 方 式 图7.3.2 数 据 库 对 象 的 DDL语

27、 句 ， 根 据 数 据 表 的 归 属 情 况 ， 在 手 动 任 务 中 ， 在 相 应 的 文 件 夹 下 创 建 DDL脚 本 。7.3.3 需 要 进 行 数 据 初 始 化 的 数 据 表 ， 应 在 手 动 任 务 中 ， 创 建 相 应 的 SQL 脚 本 文 件 。 DB3308/T 0502018 8 7.3.4 正 式 的 生 产 任 务 的 名 称 与 数 据 库 对 象 名 称 一 致 。7.4 数 据 接 入应 按 浙 江 政 务 服 务 网 技 术 规 范 第 二 部 分 数 据 交 换 技 术 规 范 与 浙 江 政 务 服 务 网 技 术 规 范 第三 部 分 数 据 交 换 信 息 规 范 规 定 执 行 。7.5 数 据 共 享应 按 浙 江 省 公 共 数 据 共 享 交 换 技 术 规 范 (试 行 ) 规 定 执 行 。7.6 数 据 接 口应 按 GB/T 21062.3的 规 定 执 行 。7.7 数 据 安 全 应 按 GB/T 20270、 GB/T 20271、 GB/T 28452的 规 定 执 行 。7.8 数 据 备 份应 按 GB/T 29765的 规 定 执 行 。_