JR T 0206-2021 证券期货业大数据平台性能测试指引.pdf
《JR T 0206-2021 证券期货业大数据平台性能测试指引.pdf》由会员分享,可在线阅读,更多相关《JR T 0206-2021 证券期货业大数据平台性能测试指引.pdf(30页珍藏版)》请在麦多课文档分享上搜索。
1、ICS 03.060CSS A 11 JR中 华 人 民 共 和 国 金 融 行 业 标 准JR/T 0206 2021证 券 期 货 业 大 数 据 平 台 性 能 测 试 指 引 Reference for big data platform performance test of securities and futures industry 2021-06- 15发 布 2021- 06 -15实 施中 国 证 券 监 督 管 理 委 员 会 发 布 JR/T 0206 2021 I 目 次前 言 .II1 范 围 .12 规 范 性 引 用 文 件 .13 术 语 和 定 义 .14
2、 缩 略 语 .15 测 试 目 标 .16 测 试 准 备 .16.1 测 试 环 境 准 备 .1 6.2 测 试 数 据 准 备 .37 测 试 内 容 和 方 法 .57.1 测 试 概 述 .57.2 基 准 测 试 .67.3 数 据 加 载 性 能 测 试 .67.4 数 据 查 询 性 能 测 试 .107.5 混 合 负 载 性 能 测 试 .167.6 数 据 操 作 性 能 测 试 .177.7 数 据 导 出 性 能 测 试 .198 扩 展 测 试 .218.1 扩 展 测 试 概 述 .218.2 索 引 测 试 .21 8.3 分 区 键 测 试 .228.4 分
3、 布 键 测 试 .228.5 列 存 储 测 试 .228.6 资 源 队 列 测 试 .22附 录 A ( 资 料 性 附 录 ) 平 台 、 术 语 、 工 具 名 称 解 释 及 TCP基 准 测 试 套 说 明 .24参 考 文 献 .26 JR/T 0206 2021 II 前 言本 文 件 按 照 GB/T 1.1 2020 标 准 化 工 作 导 则 第 1部 分 : 标 准 化 文 件 的 结 构 和 起 草 规 范 的 规 定起 草 。请 注 意 本 文 件 的 某 些 内 容 可 能 涉 及 专 利 。 本 文 件 的 发 布 机 构 不 承 担 识 别 专 利 的 责
4、任 。本 文 件 由 全 国 金 融 标 准 化 技 术 委 员 会 证 券 分 技 术 委 员 会 ( SAC/TC 180/SC4) 提 出 。本 文 件 由 全 国 金 融 标 准 化 技 术 委 员 会 ( SAC/TC 180) 归 口 。本 文 件 起 草 单 位 : 中 国 证 券 监 督 管 理 委 员 会 科 技 监 管 局 、 深 圳 证 券 交 易 所 、 上 海 证 券 交 易 所 、 中 证信 息 技 术 服 务 有 限 责 任 公 司 、 中 国 证 券 登 记 结 算 有 限 公 司 、 深 圳 证 券 通 信 有 限 公 司 。本 文 件 主 要 起 草 人 :
5、 姚 前 、 蒋 东 兴 、 周 云 晖 、 喻 华 丽 、 万 春 波 、 陈 明 忠 、 顾 军 妹 、 谷 博 、 林 宇 、 沙明 、 韩 凤 宁 、 刘 大 海 、 何 飞 、 李 向 东 、 王 蕾 蕾 、 陈 亮 、 莫 锋 、 李 小 光 。 JR/T 0206 2021 1 证 券 期 货 业 大 数 据 平 台 性 能 测 试 指 引1 范 围本 文 件 给 出 了 证 券 期 货 业 大 数 据 平 台 提 供 性 能 测 试 指 引 , 指 引 内 容 包 括 测 试 目 标 、 测 试 准 备 、 测 试内 容 和 方 法 、 扩 展 测 试 。本 文 件 适 用 于
6、 证 券 期 货 行 业 的 核 心 机 构 和 经 营 机 构 对 大 数 据 平 台 ( Hadoop平 台 和 MPP数 据 库 ) 在 选型 期 或 建 设 期 进 行 性 能 测 试 。注 : 核 心 机 构 包 括 证 券 交 易 所 、 期 货 交 易 所 、 登 记 结 算 公 司 等 , 经 营 机 构 包 括 证 券 公 司 、 期 货 公 司 、 基 金 管 理 公 司等 。2 规 范 性 引 用 文 件 本 文 件 没 有 规 范 性 引 用 文 件 。3 术 语 和 定 义本 文 件 没 有 需 要 界 定 的 术 语 和 定 义 。4 缩 略 语下 列 缩 略 语
7、适 用 于 本 文 件 。MPP: 大 规 模 并 行 处 理 ( Massively Parallel Processor)CPU: 中 央 处 理 器 ( Central Processing unit)ETL: 抽 取 转 换 加 载 ( Extract-Transform-Load) 5 测 试 目 标测 试 的 主 要 目 标 是 通 过 测 试 收 集 被 测 大 数 据 系 统 在 特 定 场 景 下 的 关 键 性 能 指 标 , 根 据 指 标 结 果 评 估被 测 系 统 性 能 。 所 收 集 的 性 能 指 标 分 为 如 下 两 类 :a) 时 间 相 关 指 标 :
8、 包 括 吞 吐 、 速 率 、 时 延 和 响 应 时 间 等 , 指 标 将 从 单 位 时 间 、 特 定 长 度 时 间 、 数据 从 源 端 到 目 标 端 流 转 时 间 和 数 据 请 求 发 起 到 服 务 完 成 时 间 等 不 同 角 度 反 映 被 测 系 统 处 理 数据 的 效 率 和 能 力 ;b) 系 统 资 源 相 关 指 标 : 包 括 服 务 器 主 要 硬 件 资 源 ( CPU、 内 存 、 磁 盘 、 网 卡 等 ) 的 利 用 率 和 操 作系 统 软 件 资 源 ( 进 程 数 、 网 络 连 接 数 量 、 文 件 句 柄 占 用 数 量 等 )
9、 的 使 用 情 况 。6 测 试 准 备6.1 测 试 环 境 准 备 JR/T 0206 2021 2 6.1.1 环 境 检 查大 数 据 平 台 中 , 被 测 集 群 由 服 务 器 集 群 组 成 , 不 同 的 测 试 环 境 对 测 试 结 果 会 产 生 不 同 的 影 响 , 按 照平 台 的 设 计 目 标 选 择 性 能 测 试 使 用 的 测 试 环 境 配 置 , 在 测 试 正 式 执 行 前 对 环 境 进 行 检 查 。6.1.2 服 务 器 准 备测 试 所 用 的 服 务 器 全 部 采 用 物 理 机 , 相 同 功 能 域 的 节 点 采 用 相 同
10、的 硬 件 配 置 , 任 意 一 个 管 理 节 点 与其 它 管 理 节 点 硬 件 配 置 相 同 , 任 意 一 个 数 据 节 点 与 其 它 数 据 节 点 硬 件 配 置 相 同 。测 试 所 需 节 点 数 量 的 估 算 公 式 如 下 :节 点 数 量 =( 数 据 副 本 数 设 计 的 数 据 容 量 /单 个 数 据 节 点 容 量 )+管 理 节 点 数 量 +其 它 功 能 节 点 数 量注 : 数 据 容 量 暂 不 考 虑 压 缩 比 。 管 理 节 点 数 量 一 般 采 用 被 测 系 统 默 认 配 置 , 通 常 每 个 集 群 采 用 1+1主 备
11、方 式 。 其 它 功 能 节 点 则 按 需 配 置 , 数 据 平 台 产 品 中 没 有 “ 管 理 节 点 ” 概 念 的 , 可 根 据 实 际 情 况 进 行 配 置 。6.1.3 测 试 组 网根 据 被 测 系 统 的 产 品 特 点 、 集 群 规 模 、 业 务 应 用 程 序 与 被 测 系 统 的 交 互 方 式 等 确 定 组 网 方 式 。 宜 采用 万 兆 网 络 通 信 , 每 个 节 点 配 备 双 万 兆 网 卡 进 行 绑 定 , 将 被 测 系 统 部 署 在 测 试 专 用 网 段 , 与 生 产 环 境 完全 隔 离 。6.1.4 环 境 验 证在
12、部 署 安 装 被 测 系 统 前 , 对 所 有 服 务 器 硬 件 和 网 络 配 置 进 行 检 查 以 及 性 能 验 证 , 确 认 各 服 务 器 硬 件和 网 络 性 能 处 于 稳 定 状 态 , 避 免 出 现 因 个 别 节 点 性 能 异 常 导 致 整 个 集 群 性 能 受 影 响 的 情 况 。在 每 个 服 务 器 上 分 别 执 行 下 述 服 务 器 硬 件 验 证 项 , 见 表 1, 验 证 通 过 后 即 可 安 装 被 测 系 统 。表 1 服 务 器 硬 件 验 证 序 号 类 别 验 证 项 预 期 结 果1 CPU 检 查 CPU核 数 、 频
13、率 。 CPU核 数 、 频 率 与 硬 件 实 际 配 置 一 致 。2 使 用 基 准 性 能 工 具 ( 例 如 Sysbench) 测试 CPU性 能 。 性 能 结 果 与 厂 商 提 供 的 硬 件 性 能 指 标 相 符 , 相 同 硬 件 配 置的 服 务 器 之 间 性 能 结 果 差 异 在 10%以 内 。3 内 存 检 查 内 存 条 数 、 容 量 大 小 、 频 率 和 时 序 。 内 存 条 数 、 容 量 大 小 、 频 率 和 时 序 与 硬 件 实 际 配 置 一 致 。4 使 用 基 准 性 能 工 具 ( 例 如 Sysbench) 测试 内 存 性 能
14、 。 性 能 结 果 与 厂 商 提 供 的 硬 件 性 能 指 标 相 符 , 相 同 硬 件 配 置的 服 务 器 之 间 性 能 结 果 差 异 在 10%以 内 。5 磁 盘 检 查 磁 盘 类 别 ( 机 械 盘 或 SSD) 、 转 速 ( 机械 盘 ) 、 容 量 大 小 和 数 量 。 磁 盘 类 别 ( 机 械 盘 或 SSD) 、 转 速 ( 机 械 盘 ) 、 容 量 大 小 和 数量 与 硬 件 实 际 配 置 一 致 。6 使 用 基 准 性 能 工 具 ( 例 如 Sysbench) 测 试 磁 盘 性 能 。 性 能 结 果 与 厂 商 提 供 的 硬 件 性 能
15、 指 标 相 符 , 相 同 硬 件 配 置的 服 务 器 之 间 性 能 结 果 差 异 在 10%以 内 。7 网 卡 检 查 网 卡 个 数 、 带 宽 信 息 。 网 卡 个 数 、 带 宽 信 息 与 硬 件 实 际 配 置 一 致 。8 使 用 基 准 性 能 工 具 ( 例 如 Netperf) 测试 网 卡 性 能 。 性 能 结 果 与 厂 商 提 供 的 硬 件 性 能 指 标 相 符 , 相 同 硬 件 配 置的 服 务 器 之 间 性 能 结 果 差 异 在 10%以 内 。被 测 系 统 安 装 完 毕 后 , 对 软 件 版 本 进 行 检 查 , 验 证 安 装
16、的 正 确 性 。 检 查 项 包 括 但 不 限 于 操 作 系 统 版本 、 内 核 版 本 、 JDK版 本 和 大 数 据 平 台 产 品 版 本 。6.1.5 系 统 资 源 监 控 JR/T 0206 2021 3 测 试 过 程 中 对 被 测 系 统 资 源 使 用 情 况 进 行 持 续 监 控 , 在 被 测 系 统 的 每 个 节 点 上 部 署 系 统 资 源 监 控 工具 , 例 如 Nmon、 Atop等 。 监 控 采 样 周 期 宜 控 制 在 3秒 以 内 , 监 控 的 资 源 包 括 但 不 限 于 CPU、 内 存 、 网 络 、磁 盘 等 硬 件 资
17、源 和 进 程 、 文 件 句 柄 、 网 络 连 接 、 数 据 库 连 接 等 软 件 资 源 , 见 表 2。表 2 系 统 资 源 监 控 项序 号 资 源 监 控 项 内 容 描 述1 CPU 包 括 系 统 整 体 CPU占 用 率 、 每 个 CPU( 核 ) 占 用 率 、 用 户 空 间 CPU 占 用 率 、 内 核 空 间 CPU占 用 率 、 IOWait CPU占 用 率 等 。2 内 存 包 括 内 存 总 大 小 、 已 用 内 存 大 小 、 可 用 内 存 大 小 、 Cache大 小 、 共 享 内 存 大 小 等 。3 网 络 包 括 吞 吐 量 、 发
18、送 速 率 、 接 收 速 率 、 发 包 总 大 小 、 收 包 总 大 小 、 错 误 率 等 。4 磁 盘 I/O 包 括 IOPS、 写 速 率 、 读 速 率 、 带 宽 占 用 率 等 。 5 软 件 资 源 包 括 进 程 数 、 文 件 句 柄 占 用 数 、 网 络 连 接 数 和 数 据 库 连 接 数 等 。6.2 测 试 数 据 准 备6.2.1 基 础 测 试 数 据 准 备基 础 测 试 数 据 选 取 了 证 券 交 易 基 础 的 订 单 、 成 交 、 行 情 数 据 以 及 基 础 信 息 资 料 数 据 , 为 后 续 的 数 据加 载 和 数 据 查 询
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- JR 0206-2021 证券期货业大数据平台性能测试指引 0206 2021 证券期货 业大 数据 平台 性能 测试 指引
