1、ICS 35.240L67 DB5305保 山 市 地 方 标 准DB 5305/T 19.27 2019替 代 DG5305/T 19.272017保 山 市 信 息 惠 民 工 程 综 合 标 准第 27部 分 :信 息 惠 民 大 数 据 平 台 技 术 标 准 2019 -10- 30发 布 2019- 11-01实 施保 山 市 市 场 监 督 管 理 局 发 布 DB5305/T 19.272019前 言本 标 准 按 照 GB/T 1.1 2009 标 准 化 工 作 导 则 第 1部 分 ： 标 准 的 结 构 和 编 写 给 出 的 规 则 起 草 。本 标 准 由 保 山
2、市 大 数 据 管 理 局 提 出 。本 标 准 由 保 山 市 工 业 和 信 息 化 委 员 会 归 口 。本 标 准 起 草 单 位 ： 保 山 市 大 数 据 管 理 局 。本 标 准 主 要 起 草 人 ： 刘 志 胡 、 王 明 超 、 李 祖 燕 、 丁 威 、 邹 瑜 、 朱 超 群 。 本 标 准 替 代 DG5305/T 19.27 2017。 DB5305/T 19.272019 1 保 山 市 信 息 惠 民 工 程 综 合 标 准第 27 部 分 信 息 惠 民 大 数 据 平 台 技 术 标 准1 范 围本 标 准 规 定 了 保 山 市 信 息 惠 民 工 程 大
3、 数 据 平 台 的 术 语 、 定 义 和 缩 略 语 、 总 体 框 架 、 技 术 要 求 和 功 能规 范 ， 本 标 准 适 用 于 保 山 市 信 息 惠 民 工 程 大 数 据 平 台 建 设 。2 规 范 性 引 用 文 件下 列 文 件 中 的 条 款 通 过 本 标 准 的 引 用 而 成 为 本 标 准 的 条 款 。 凡 是 注 日 期 的 引 用 文 件 ， 其 随 后 所 有 的修 改 单 （ 不 包 括 勘 误 的 内 容 ） 或 修 订 版 均 不 适 用 于 本 标 准 ， 然 而 ， 鼓 励 根 据 本 标 准 达 成 协 议 的 各 方 研 究 是 否 可
4、 使 用 这 些 文 件 的 最 新 版 本 。 凡 是 不 注 日 期 的 引 用 文 件 ， 其 最 新 版 本 适 用 于 本 标 准 。保 山 市 信 息 惠 民 国 家 试 点 城 市 创 建 顶 层 设 计 方 案DB5305/T 19.2-2019 保 山 市 信 息 惠 民 工 程 综 合 标 准 总 体 框 架 和 技 术 要 求DB5305/T 19.3-2019 保 山 市 信 息 惠 民 工 程 综 合 标 准 术 语DB5305/T 19.25-2019 保 山 市 信 息 惠 民 工 程 综 合 标 准 数 据 交 换 与 共 享 平 台 技 术 标 准3 术 语
5、、 定 义DB5305/T 19.3-2019 确 立 的 以 及 下 列 术 语 和 定 义 适 用 于 本 标 准 。3.1 HadoopHadoop是 一 个 由 Apache基 金 会 所 开 发 的 分 布 式 系 统 基 础 架 构 。 用 户 可 以 在 不 了 解 分 布 式 底 层 细 节的 情 况 下 ， 开 发 分 布 式 程 序 。 充 分 利 用 集 群 的 威 力 进 行 高 速 运 算 和 存 储 。 Hadoop 实 现 了 一 个 分 布 式 文件 系 统 （ Hadoop Distributed File System） ， 简 称 HDFS。 HDFS 有
6、 高 容 错 性 的 特 点 ， 并 且 设 计 用 来 部 署 在 低 廉 的 （ low-cost） 硬 件 上 ； 而 且 它 提 供 高 吞 吐 量 来 访 问 应 用 程 序 的 数 据 ， 适 合 那 些 有 着 超 大 数 据 集（ large data set） 的 应 用 程 序 。 HDFS可 以 以 流 的 形 式 访 问 文 件 系 统 中 的 数 据 。 Hadoop 的 框 架 最 核 心的 设 计 就 是 ： HDFS 和 MapReduce。 HDFS 为 海 量 的 数 据 提 供 了 存 储 ， 则 MapReduce 为 海 量 的 数 据 提 供 了计
7、算 。 Hadoop 是 一 个 能 够 对 大 量 数 据 进 行 分 布 式 处 理 的 软 件 框 架 。 Hadoop 以 一 种 可 靠 、 高 效 、 可伸 缩 的 方 式 进 行 数 据 处 理 ； 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台 。 用 户 可 以 轻 松 地 在Hadoop上 开 发 和 运 行 处 理 海 量 数 据 的 应 用 程 序 。3.2 HbaseHBase是 一 个 分 布 式 的 、 面 向 列 的 开 源 数 据 库 。 HBase 不 同 于 一 般 的 关 系 数 据 库 ， 它 是 一 个 适
8、 合 于非 结 构 化 数 据 存 储 的 数 据 库 。 另 一 个 不 同 的 是 HBase 基 于 列 的 而 非 基 于 行 的 模 式 。3.3 MapReduceMapReduce是 一 种 编 程 模 型 ， 用 于 大 规 模 数 据 集 （ 大 于 1TB） 的 并 行 运 算 。 概 念 Map（ 映 射 ） 和 Reduce（ 归 约 ） ， 是 它 们 的 主 要 思 想 ， 都 是 从 函 数 式 编 程 语 言 里 借 来 的 ， 还 有 从 矢 量 编 程 语 言 里 借 来 的 特 性 。 它 极 大 地 方 便 了 编 程 人 员 在 不 会 分 布 式 并
9、 行 编 程 的 情 况 下 ， 将 自 己 的 程 序 运 行 在 分 布 式 系 统 上 。 当 前的 软 件 实 现 是 指 定 一 个 Map（ 映 射 ） 函 数 ， 用 来 把 一 组 键 值 对 映 射 成 一 组 新 的 键 值 对 ， 指 定 并 发 的 Reduce（ 归 约 ） 函 数 ， 用 来 保 证 所 有 映 射 的 键 值 对 中 的 每 一 个 共 享 相 同 的 键 组 。 DB5305/T 19.27 2019 2 3.4 HiveHive是 基 于 Hadoop的 一 个 数 据 仓 库 工 具 ， 可 以 将 结 构 化 的 数 据 文 件 映 射 为
10、 一 张 数 据 库 表 ， 并 提 供简 单 的 SQL 查 询 功 能 ， 可 以 将 SQL语 句 转 换 为 MapReduce 任 务 进 行 运 行 。 其 优 点 是 学 习 成 本 低 ， 可 以通 过 类 SQL语 句 快 速 实 现 简 单 的 MapReduce 统 计 ， 不 必 开 发 专 门 的 MapReduce 应 用 ， 十 分 适 合 数 据 仓 库的 统 计 分 析 。3.5 PigPig是 一 个 基 于 Hadoop 的 大 规 模 数 据 分 析 平 台 ， 它 提 供 的 SQL-LIKE语 言 叫 Pig Latin， 该 语 言 的编 译 器
11、会 把 类 SQL 的 数 据 分 析 请 求 转 换 为 一 系 列 经 过 优 化 处 理 的 MapReduce 运 算 。 Pig 为 复 杂 的 海 量 数据 并 行 计 算 提 供 了 一 个 简 单 的 操 作 和 编 程 接 口 。3.6 StormStorm是 一 个 分 布 式 的 、 容 错 的 实 时 计 算 系 统 ， 为 分 布 式 实 时 计 算 提 供 了 一 组 通 用 原 语 ， 可 被 用 于 “ 流 处 理 ” 之 中 ， 实 时 处 理 消 息 并 更 新 数 据 库 ， 降 低 了 进 行 实 时 处 理 的 复 杂 性 。 Storm 可 以 方
12、便 地 在 一个 计 算 机 集 群 中 编 写 与 扩 展 复 杂 的 实 时 计 算 ， Storm 用 于 实 时 处 理 ， 就 好 比 Hadoop 用 于 批 处 理 。 Storm保 证 每 个 消 息 都 会 得 到 处 理 ， 而 且 它 很 快 在 一 个 小 集 群 中 ， 每 秒 可 以 处 理 数 以 百 万 计 的 消 息 。3.7 SqoopSqoop是 一 款 开 源 的 工 具 ， 主 要 用 于 在 Hadoop(Hive)与 传 统 的 数 据 库 间 进 行 数 据 的 传 递 ， 可 以 将 一个 关 系 型 数 据 库 （ 例 如 ： MySQL ,
13、Oracle 等 ） 中 的 数 据 导 进 到 Hadoop的 HDFS中 ， 也 可 以 将 HDFS的数 据 导 进 到 关 系 型 数 据 库 中 。3.8 YARNYet Another Resource Negotiator， 另 一 种 资 源 协 调 者 ， 是 一 种 新 的 Hadoop 资 源 管 理 器 ， 它 是一 个 通 用 资 源 管 理 系 统 ， 可 为 上 层 应 用 提 供 统 一 的 资 源 管 理 和 调 度 ， 它 的 引 入 为 集 群 在 利 用 率 、 资 源 统一 管 理 和 数 据 共 享 等 方 面 带 来 了 巨 大 好 处 。 3.9
14、 大 数 据大 数 据 （ big data） ， 指 无 法 在 可 承 受 的 时 间 范 围 内 用 常 规 软 件 工 具 进 行 捕 捉 、 管 理 和 处 理 的 数 据集 合 ， 是 需 要 新 处 理 模 式 才 能 具 有 更 强 的 决 策 力 、 洞 察 发 现 力 和 流 程 优 化 能 力 来 适 应 海 量 、 高 增 长 率 和多 样 化 的 信 息 资 产 。 大 数 据 的 5V 特 点 （ IBM 提 出 ） ： Volume（ 大 量 ） 、 Velocity（ 高 速 ） 、 Variety（ 多样 ） 、 Value（ 价 值 ） 、 Veracity
15、（ 真 实 性 ） 。3.10 分 布 式 文 件 系 统分 布 式 文 件 系 统 （ Distributed File System） 是 指 文 件 系 统 管 理 的 物 理 存 储 资 源 不 一 定 直 接 连 接在 本 地 节 点 上 ， 而 是 通 过 计 算 机 网 络 与 节 点 相 连 。 分 布 式 文 件 系 统 的 设 计 基 于 客 户 机 /服 务 器 模 式 。 一个 典 型 的 网 络 可 能 包 括 多 个 供 多 用 户 访 问 的 服 务 器 。3.11 企 业 服 务 总 线 ESB企 业 服 务 总 线 是 传 统 中 间 件 技 术 与 XML、
16、 Web 服 务 等 技 术 结 合 的 产 物 。 ESB提 供 了 网 络 中 最 基 本 的 连 接 中 枢 ， 是 构 筑 企 业 神 经 系 统 的 必 要 元 素 。 ESB的 出 现 改 变 了 传 统 的 软 件 架 构 ， 可 以 提 供 比 传 统 中 间件 产 品 更 为 廉 价 的 解 决 方 案 ， 同 时 它 还 可 以 消 除 不 同 应 用 之 间 的 技 术 差 异 ， 让 不 同 的 应 用 服 务 器 协 调 运作 ， 实 现 了 不 同 服 务 之 间 的 通 信 和 整 合 。3.12 结 构 化 数 据结 构 化 数 据 是 行 数 据 ， 存 储
17、在 数 据 库 里 ， 可 以 用 二 维 表 结 构 来 逻 辑 表 达 实 现 的 数 据 。3.13 非 结 构 化 数 据 DB5305/T 19.272019 3 非 结 构 化 数 据 是 不 方 便 用 数 据 库 二 维 逻 辑 表 来 表 现 的 数 据 ， 包 括 所 有 格 式 的 办 公 文 档 、 文 本 、 图 片 、XML、 HTML、 各 类 报 表 、 图 像 和 音 频 /视 频 信 息 等 等 。3.14 半 结 构 化 数 据半 结 构 化 数 据 是 介 于 完 全 结 构 化 数 据 （ 如 关 系 型 数 据 库 、 面 向 对 象 数 据 库 中
18、 的 数 据 ） 和 完 全 无 结 构的 数 据 （ 如 声 音 、 图 像 文 件 等 ） 之 间 的 数 据 。3.15 关 系 型 数 据 库关 系 型 数 据 库 是 建 立 在 关 系 模 型 基 础 上 的 数 据 库 ， 借 助 于 集 合 代 数 等 数 学 概 念 和 方 法 来 处 理 数 据 库中 的 数 据 。 关 系 模 型 就 是 指 二 维 表 格 模 型 ,因 而 一 个 关 系 型 数 据 库 就 是 由 二 维 表 及 其 之 间 的 联 系 组 成 的一 个 数 据 组 织 。4 缩 略 语 下 列 缩 略 语 适 用 于 本 标 准 。 API： Ap
19、plication Program Interface， 应 用 程 序 编 程 接 口 BPM： Business Process Manager， 业 务 流 程 管 理 DFS： Distributed File System， 分 布 式 文 件 系 统 ESB： Enterprise Service Bus， 企 业 服 务 总 线 ETL： Extract- Transform- Load， 数 据 抽 取 、 转 换 、 装 载 Hbase： Hadoop Database， hadoop数 据 库 HDFS： Hadoop Distributed File System， Ha
20、doop分 布 式 文 件 系 统 HTML： HyperTextMark-upLanguage， 超 文 本 标 记 语 言 或 超 文 本 链 接 标 示 语 言 IAAS： Infrastructure As A Service， 基 础 设 施 即 服 务 JSP： Java Server Pages， Java服 务 器 页 面 OLAP： Online Analytical Processing， 联 机 分 析 处 理 REST： Representational State Transfer， 表 述 性 状 态 传 递 RPC： Remote Procedure Call P
21、rotocol， 远 程 过 程 调 用 协 议 SQL： Structured Query Language， 结 构 化 查 询 语 言 Web： World Wide Web， 万 维 网 或 环 球 网 XML： Extensible Markup Language， 可 扩 展 标 识 语 言 YARN： Yet Another Resource Negotiator， 另 一 种 资 源 协 调 者5 总 体 框 架5.1 概 述信 息 惠 民 大 数 据 平 台 是 DB5305/T 19.2-2019 中 确 立 的 信 息 惠 民 工 程 总 体 框 架 的 “ 一 个 综
22、合 服 务 平台 ” 的 一 部 分 。 信 息 惠 民 大 数 据 平 台 是 以 Hadoop 大 数 据 体 系 为 基 础 ， 实 现 结 构 化 、 半 结 构 化 和 非 结 构化 的 海 量 数 据 进 行 存 储 、 处 理 分 析 、 数 据 转 换 、 数 据 应 用 等 功 能 ， 是 统 一 处 理 信 息 惠 民 大 数 据 库 的 海 量大 数 据 的 支 撑 平 台 。 5.2 体 系 架 构5.2.1 体 系 架 构 图信 息 惠 民 大 数 据 平 台 的 体 系 架 构 见 图 1， 包 括 数 据 层 、 计 算 层 和 服 务 层 。 DB5305/T
23、19.27 2019 4 图 1 大 数 据 平 台 体 系 架 构 ORACLE Redis Mpp各 类 数 据 库 访 问 接 口MapReduc /Yarn并 行 计 算 框Spar分 布 式 内 存 计 算 Pig资 源 管 HiveOLA 分 析 引 RESTful WebService RPC JAVA API Servle /JSP Hadoop Hbase HDFS分 布 式 文 件 访 问 接 口 ETL工 具Hadoo ESB服 务 总 线数 据 查 询 检 索 服 数 据 处 理 服 务 数 据 分 析 服 务 数据层计算层 服务层 5.2.2 数 据 层数 据 层 按
24、 照 不 同 的 业 务 应 用 需 求 ， 通 过 各 类 数 据 库 访 问 接 口 、 分 布 式 文 件 访 问 接 口 等 方 式 ， 采 集 相关 数 据 源 ， 进 行 ETL 处 理 ， 形 成 面 向 业 务 领 域 的 数 据 集 市 ， 利 用 各 种 数 据 库 技 术 ， 包 括 关 系 型 数 据 库Oracle、 内 存 数 据 库 Redis、 MPP并 行 数 据 库 以 及 Hadoop平 台 的 Hbase 列 数 据 库 和 HDFS分 布 式 文 件 系统 ， 将 结 构 化 数 据 、 半 结 构 化 数 据 和 非 结 构 化 数 据 存 储 相
25、应 的 数 据 库 或 者 文 件 系 统 中 。5.2.3 计 算 层计 算 层 主 要 是 为 数 据 应 用 提 供 通 用 的 基 础 平 台 服 务 ， 包 括 MapReduce 分 布 式 计 算 框 架 ， 开 发 大 呑 吐量 的 数 据 处 理 与 分 析 应 用 ； Spark分 布 式 内 存 计 算 框 架 ， 开 发 实 时 响 应 的 数 据 分 析 应 用 ； Storm 流 处 理框 架 ， 实 时 分 析 和 连 续 计 算 的 场 景 应 用 。 Pig资 源 管 理 ， 把 类 SQL的 数 据 分 析 请 求 转 换 为 MapReduce运算 。 H
26、ive OLAP分 布 式 分 析 引 擎 ， 高 速 实 时 查 询 、 分 析 大 数 据 且 与 SQL兼 容 性 工 具 顺 利 协 作 。5.2.4 服 务 层 在 基 础 服 务 层 的 计 算 框 架 基 础 上 ， 结 合 业 务 需 求 ， 构 建 服 务 接 口 层 ， 开 发 出 一 系 列 的 数 据 查 询 检 索 、数 据 处 理 服 务 、 数 据 分 析 服 务 等 ， 集 成 在 ESB服 务 总 线 中 ， 提 供 给 信 息 惠 民 工 程 中 的 相 关 应 用 系 统 调 用 。通 过 标 准 的 接 口 提 供 大 数 据 应 用 服 务 。 接 口
27、 应 结 构 清 晰 、 符 合 标 准 、 易 于 理 解 、 扩 展 方 便 ， 首 选 REST DB5305/T 19.272019 5 服 务 ， 其 次 接 口 方 式 有 RPC、 WebService、 Java API、 Servlet/JSP等 。5.3 系 统 结 构5.3.1 系 统 结 构 图信 息 惠 民 大 数 据 平 台 的 系 统 结 构 见 图 2 大 数 据 平 台 系 统 结 构 ， 包 括 大 数 据 存 储 、 大 数 据 处 理 、 大 数分 析 、 实 时 处 理 流 数 据 、 关 系 型 数 据 库 转 换 、 资 源 管 理 和 调 度 和
28、 数 据 安 全 机 制 。 信 息 惠 民 大 数 据 平 台 应通 过 信 息 惠 民 工 程 中 的 应 用 支 撑 平 台 的 企 业 服 务 总 线 为 信 息 惠 民 工 程 各 应 用 系 统 提 供 数 据 查 询 检 索 、 数据 处 理 、 数 据 分 析 等 大 数 据 服 务 。 信 息 惠 民 大 数 据 平 台 对 各 委 办 局 业 务 系 统 的 关 联 数 据 进 行 存 储 、 处 理 、分 析 ， 为 信 息 惠 民 工 程 提 供 数 据 支 撑 。 图 2 大 数 据 平 台 系 统 结 构 企 业 服 务 总 线信 息 惠 民 工 程 应 用 系 统
29、大 数 据 存 储 大 数 据 处 理 大 数 据 分 析实 时 处 理 流 数 据 关 系 型 数 据 库 转 换 资 源 管 理 和 调 度 数 据 安全 机 制大 数 据 平 台安 民 工 程 富 民 工 程健 民 工 程惠 民 工 程智 民 工 程 应 用 展示 中 心便 民 工 程 各委办局业务系统应 用 支 撑 平 台5.3.2 大 数 据 存 储 应 实 现 海 量 结 构 化 数 据 、 半 结 构 化 数 据 和 结 构 化 数 据 的 存 储 功 能 ， 为 信 息 惠 民 工 程 提 供 大 数 据 存 储服 务 。5.3.3 大 数 据 处 理应 实 现 海 量 结 构
30、 化 数 据 、 半 结 构 化 数 据 和 结 构 化 数 据 的 高 速 、 实 时 处 理 功 能 ， 为 信 息 惠 民 工 程 提 供大 数 据 处 理 服 务 。5.3.4 大 数 据 分 析应 实 现 海 量 结 构 化 数 据 、 半 结 构 化 数 据 和 结 构 化 数 据 的 分 析 功 能 ， 为 信 息 惠 民 工 程 提 供 大 数 据 分 析服 务 。 DB5305/T 19.27 2019 6 5.3.5 实 时 处 理 流 数 据应 实 现 实 时 处 理 流 数 据 ， 为 信 息 惠 民 工 程 提 供 大 批 量 小 型 数 据 的 处 理 服 务 。5
31、.3.6 关 系 数 据 库 转 换应 实 现 大 数 据 分 布 式 文 件 系 统 与 关 系 数 据 库 之 间 的 数 据 转 换 ， 为 信 息 惠 民 工 程 提 供 不 同 格 式 数 据 之间 的 转 换 服 务 。5.3.7 资 源 管 理 和 调 度应 实 现 分 布 式 集 群 资 源 管 理 和 调 度 。5.3.8 数 据 安 全 机 制应 建 立 数 据 安 全 机 制 ， 保 障 数 据 在 处 理 、 存 储 过 程 中 的 数 据 安 全 。 6 技 术 要 求6.1 与 信 息 惠 民 工 程 整 体 关 系 要 求与 信 息 惠 民 工 程 整 体 关 系
32、 要 求 :应 在 信 息 惠 民 工 程 总 体 框 架 下 进 行 开 发 ， 基 础 设 施 方 面 依 托 综 合 服 务 云 平 台 ， 不 再 单 独 投 资 建设 信 息 化 基 础 设 施 ， 由 IAAS 平 台 按 需 分 配 资 源 或 扩 充 资 源 ；应 尽 可 能 利 用 应 用 支 撑 平 台 的 企 业 服 务 总 线 服 务 、 BPM工 作 流 服 务 、 消 息 服 务 等 公 共 组 件 服 务 ，涉 及 公 共 组 件 在 综 合 服 务 云 平 台 中 已 经 具 有 的 直 接 进 行 调 用 ， 没 有 的 在 综 合 服 务 云 平 台 中 进
33、 行扩 展 。6.2 架 构 要 求架 构 要 求 :应 基 于 Hadoop架 构 建 立 大 数 据 平 台 ； 应 支 持 跨 语 言 、 跨 操 作 系 统 调 用 ；应 通 过 服 务 的 方 式 为 信 息 惠 民 工 程 提 供 大 数 据 服 务 等 ；应 支 持 跨 防 火 墙 的 数 据 传 输 ；应 具 备 符 合 安 全 等 级 要 求 的 快 速 恢 复 能 力 ；应 具 备 良 好 的 可 扩 展 性 ， 可 根 据 交 换 需 求 的 变 化 实 现 系 统 的 扩 展 部 署 ；6.3 接 口 要 求接 口 要 求 :对 检 索 请 求 信 息 、 检 索 返
34、回 的 结 构 化 信 息 、 注 册 更 新 目 录 数 据 内 容 、 目 录 树 等 应 采 用 可 扩 展 置标 语 言 （ XML） 进 行 封 装 ， 按 GB/T 18793 执 行 ；数 据 共 享 交 换 接 口 应 按 数 据 交 换 与 共 享 平 台 技 术 标 准 ， 详 见 DB5305/T 19.25-2019。6.4 性 能 要 求性 能 要 求 : 在 百 兆 网 络 环 境 下 ， 文 件 数 据 交 换 性 能 应 不 低 于 3MB/s；在 百 兆 网 络 环 境 下 ， 主 流 异 构 数 据 库 之 间 的 数 据 交 换 性 能 应 不 低 于 1
35、MB/s。6.5 运 行 环 境 适 应 性 要 求运 行 环 境 适 应 性 应 支 持 国 内 外 主 流 操 作 系 统 ； 应 支 持 国 内 外 主 流 数 据 库 。 DB5305/T 19.272019 7 7 功 能 规 范7.1 功 能 规 范建 设 基 于 Hadoop 架 构 的 大 数 据 支 撑 平 台 ， 实 现 Hbase、 HDFS、 YARN等 大 数 据 处 理 、 管 理 功 能 。7.2 大 数 据 存 储应 支 持 海 量 结 构 化 数 据 、 半 结 构 化 数 据 、 非 结 构 化 数 据 的 存 储 ；应 提 供 分 布 式 文 件 系 统
36、（ HDFS） 、 NoSQL 数 据 库 （ Hbase） 等 具 有 高 可 靠 性 、 高 效 性 、 面 向 列 、 可 伸缩 的 存 储 功 能 。7.3 大 数 据 处 理大 数 据 处 理 应 基 于 Hive等 实 现 大 数 据 处 理 ； 应 采 用 Hive等 提 供 的 一 系 列 工 具 ， 提 取 转 化 加 载 数 据 ，实 现 Hadoop 中 大 规 模 数 据 的 存 储 、 查 询 和 分 析 等 操 作 。 7.4 大 数 据 分 析大 数 据 分 析 应 基 于 Hadoop 的 大 规 模 数 据 分 析 工 具 Pig 等 实 现 大 数 据 分
37、析 ； 应 采 用 Pig 提 供 的SQL-LIKE语 言 把 类 SQL的 数 据 分 析 请 求 转 换 为 一 系 列 经 过 优 化 处 理 的 MapReduce运 算 。7.5 实 时 处 理 流 数 据实 时 处 理 流 数 据 应 提 供 实 时 流 数 据 处 理 模 块 -Storm， 实 现 实 时 流 数 据 处 理 ； 应 实 现 对 大 批 量 小 型 数据 的 处 理 ； 实 时 流 数 据 处 理 速 度 应 平 均 达 到 毫 秒 级 级 别 。7.6 关 系 型 数 据 库 转 换关 系 型 数 据 库 转 换 应 提 供 关 系 型 数 据 库 转 换
38、工 具 -Sqoop， 实 现 Hadoop和 关 系 型 数 据 库 中 的 数 据 相互 转 移 ； 关 系 型 数 据 库 转 换 应 支 持 关 系 型 数 据 库 中 数 据 导 入 Hadoop 的 HDFS， 支 持 HDFS 中 数 据 导 入 关系 型 数 据 库 中 。 7.7 资 源 管 理 和 调 度资 源 管 理 和 调 度 应 提 供 资 源 管 理 和 调 度 工 具 -YARN， 实 现 分 布 式 集 群 资 源 管 理 和 调 度 ； 应 实 现 根 据容 量 ， 队 列 等 限 制 条 件 （ 如 每 个 队 列 分 配 一 定 的 资 源 ， 最 多 执 行 一 定 数 量 的 作 业 等 ） ， 对 正 在 运 行 的 大数 据 处 理 应 用 进 行 资 源 分 配 。7.8 数 据 安 全 机 制应 建 立 平 台 内 部 的 数 据 安 全 机 制 ， 保 障 数 据 在 处 理 、 存 储 过 程 中 的 数 据 安 全 。_
