1、 ICS 27.010 CCS F 01 37 山东省地方标准 DB37/T 1498 2022 代替 DB37/T 14982009 数据中心 服务器虚 拟化节能 技术规程 Code of practice for energy saving of data center server virtualization 2022-02-18 发布 2022-03-18 实施 山东省市 场监督 管 理局 发 布 DB37/T 1498 2022 I 目 次 前言 . II 1 范围 . 1 2 规范 性引 用文 件 . 1 3 术语 和定 义 . 1 4 缩略 语 . 2 5 总体 要求 . 2
2、6 虚拟 化节 能程 序 . 2 7 就绪 性评 估 . 3 8 调研 、设 计 . 3 8.1 调研 . 3 8.2 虚 拟化 设计 . 4 8.3 网 络安 全设 计 . 4 8.4 数 据中 心配 套设 备 及 空调设 计 . 5 9 服务 器虚 拟化 实施 . 5 9.1 实 施内 容 . 5 9.2 实 施步 骤 . 5 10 节 能效 果评 价 . 5 10.1 评价 指标 . 5 10.2 CADE 计算 . 6 附录A （资 料性 ）硬 件配 置调查 信息 表 . 7 附录B （规 范性 ）服 务器 虚拟化 软件 选型 要求 . 8 参考文 献 . 9 DB37/T 1498
3、2022 II 前 言 本文件 按照GB/T 1.1 2020 标准 化工 作导则 第1 部分： 标准化 文件 的结构 和起草 规则 的规 定 起草。 本文件代替DB37/T 1498 2009 数据中心服务器虚 拟化节能技术规程，与DB37/T 1498 2009 相比， 除结 构调 整和 编辑 性改动 外， 主要 技术 变化 如下： a) 更改了 术语 “业 务连 续性 ”（ 见 3.5 ，2009 年 版 的3.5） ； b) 增加了 术语 “虚 拟化 微分 段”“ 超融 合架 构” “网 络拓扑 ”“ 虚拟 机迁 移” （见 3.7 、3.8 、 3.9 和3.10 ）； c) 增加了
4、 “数 据中 心服 务器 虚拟化 节能 程序 ”（ 见 第6 章） ； d) 删除了 “服 务器 在线 平均 访问时 间每 天不 足12h ” 的规定 （2009 年版 的6.1.2 ）； e) 增加了 “网 络安 全设 计要 求”（ 见 8.3）； f) 增加了 规范 性附 录“ 服务 器虚拟 化软 件选 型要 求” （见附 录 B ）。 请注意 本文 件的 某些 内容 可能涉 及专 利。 本文 件的 发布机 构不 承担 识别 专利 的责任 。 本文件 由山 东省 能源 局提 出并组 织实 施。 本文件 由山 东能 源标 准化 技术委 员会 归口 。 本文件 的历 次版 本发 布情 况为：
5、2009 年首 次发 布为DB37/T 1498 2009 ； 本次为 第一 次修 订。 DB37/T 1498 2022 1 数 据中心 服务器虚 拟化节 能技术规 程 1 范围 本文件 确立 了数 据中 心服 务器虚 拟化 节能 程序 ， 规 定了数 据中 心服 务器 虚拟 化节能 总体 要求 、 就 绪 性评估 、 调 研、 设计 、 实 施等阶 段的 操作 指示 ， 以 及上述 阶段 之间 的转 换条 件， 描 述了 数据 中 心 服 务 器 虚拟化 节能 效果 评价 方法 。 本文 件 适用 于数 据中 心服 务器的 虚拟 化节 能改 造和 新建数 据中 心服 务器 的虚 拟化节 能
6、建 设。 2 规范性 引用 文件 下列文 件中 的内 容通 过文 中的规 范性 引用 而构 成本 文件必 不可 少的 条款 。 其 中 ， 注日 期的 引用 文件 ， 仅该日 期对 应的 版本 适用 于本文 件； 不注 日期 的引 用文件 ， 其 最新 版本 （包 括所有 的修 改单 ） 适 用 于 本 文件。 GB 50174 2017 数 据中 心设计 规范 3 术语和 定义 下列术 语和 定义 适用 于本 文件。 3.1 数据中 心服 务器 datacenter server 一种安 装在 数据 中心 的计 算机设 备， 主要 用于 为数 据中心 提供 计算 资源 和能 力。 注： 简称
7、为服务器。 3.2 服务器 虚拟 化 server virtualization 将数据 中心 服务 器资 源抽 象成逻 辑资 源， 使一 台物 理 服务器 能够 同时 运行 多个 相互独 立和 隔离 的 虚 拟服务 器。 3.3 虚拟服 务器 virtual machine 通过软 件模 拟的 具有 完整 硬件系 统功 能的 、运 行在 一个完 全隔 离环 境中 的计 算机系 统。 3.4 虚拟化 基础 架构 virtualization infrastructure 整合数 据中 心应 用系 统基 础的组 成部 分， 一般 由虚 拟化平 台、 虚拟 化网 络、 虚拟化 存储 、 虚 拟 化
8、 管 理等部 分组 成， 具有 高可 用性、 业务 连续 性和 动态 的资源 调节 的功 能。 3.5 业务连 续性 application-level business continuity 业务应 用系 统在 发生 灾难 性故障 时业 务在 最短 时间 内恢复 的能 力。 3.6 就绪性 评估 readiness assessment 实施虚 拟化 整合 之前 ， 由 虚拟化 技术 专家 对数 据中 心的现 有设 备及 环境 进行 测试， 编制 设备 及 环 境 现状分 析报 告和 可行 性报 告的过 程。 DB37/T 1498 2022 2 3.7 虚拟化 微分 段 virtualiz
9、ation micro-segmentation 实施服 务器 虚拟 化之 后， 使用网 络虚 拟化 技术 在数 据中心 创建 精细 的安 全区 域， 进 而隔 离虚 拟 服 务 器，保 证虚 拟服 务器 上所 运行的 工作 负载 实现 精细 隔离， 并单 独对 其进 行保 护。 3.8 超融合 架构 hyper-convergence infrastructure 将计算 资源 、 存 储资 源和 网络资 源合 并到 一套 系统 中的信 息系 统基 础架 构， 具备可 软件 定义 的 各 种 功能模 块及 横向 扩展 特性 ，以统 一资 源池 的形 式提 供数据 中心 基础 设施 的各 种信
10、息 系统 承载 能力 。 3.9 网络拓 扑 network topology 用于描 述网 络的 物理 或逻 辑结构 的图 ，从 而清 晰展 示网络 中的 各种 路径 连接 和映射 关系 。 3.10 虚拟机 迁移 virtual machine motion 在一个 服务 器虚 拟化 系统 中，虚 拟服 务器 从一 台服 务器到 另一 台服 务器 的状 态移动 。 4 缩略语 下列缩 略语 适用 于本 文件 。 CADE ： 数据 中心 平均 效率(Corporate Average Datacenter Efficiency) DCiE ： 数据 中心 基础 架构 效率(Data Cen
11、ter infrastructure Efficiency) HCI： 超融 合架 构(Hyper-convergence Infrastructure) 5 总体要 求 5.1 数据中 心服 务器 虚拟 化节 能应具 有先 进性 、安 全性 和可操 作性 。 5.2 数据中 心服 务器 虚拟 化节 能应技 术成 熟、 经济 合理 。 5.3 数据中 心服 务器 虚拟 化节 能应能 保证 业务 连续 性。 5.4 数据中 心服 务器 虚拟 化节 能应有 利于 节约 能源 、保 护环境 。 6 虚拟化 节能 程序 数据中 心服务 器虚 拟化节 能程序 如图1 所示。 其中 设 计分为 虚拟化 设
12、计 、网络 安全设 计、数 据中 心 配套设 备及 空调 设计 三个 步骤。 DB37/T 1498 2022 3 图1 数据中 心服 务器 虚拟 化节 能程序 流程 图 7 就绪性 评估 7.1 对于现 有数 据中 心应 初步 分析数 据中 心的 现状 和未 来发展 规划 ， 对数 据中 心 服务器 部 署 30 d 以上 的负载 检测 。 检 测对 象包 括处理 器、 内存 、 存 储和 网络流 量等 。 根 据检 测结 果进行 数据 分析 ， 编 写 数 据 中心负 载测 试分 析报 告。 7.2 依据数 据中心 负载 测试分 析报告 ， 对 数 据中 心服务 器是否 进行虚 拟化 进行
13、判 定。当 数据中 心 服 务 器满足 下列 条件 之一 时， 宜进行 虚拟 化： a) 处理器 平均 负载 低于 50 % ，其中 ，处 理器 平均 负载 低于 20 %的，应 进行 虚 拟 化， 处 理器 平 均 负载介 于20 % 和 50 % 之间 的，可 进行 虚拟 化； b) 单个应用服务的内 存、网络平均利用率不高 于 50 %的，应结合具体应 用服务的实际运行特性 进行具 体分 析确 定； c) 无业务 连续 性 保 障措 施的。 7.3 新建数 据中心 的规 划评估 应根据 业务系 统负 载测试 数据并 参考同 等规 模数据 中心运 行情况 ， 设 计 数据中 心虚 拟化 建
14、设 方案 。 8 调研、 设计 8.1 调研 设 计 DB37/T 1498 2022 4 8.1.1 调研时 应获 取下 列材 料： a) 数据中 心物 理设 备布 局图 纸； b) 数据中 心网 络拓 扑图 纸； c) 数据中 心应 用调 查表 ，包 含单位 信息 、应 用环 境信 息、虚 拟化 了解 程度 等内 容； d) 数据中 心硬 件配 置信 息调 查表， 见附 录A ； e) 数据中 心负 载测 试分 析报 告。 8.1.2 调研时 应掌 握客 户的 预算 需求、 功能 需求 等。 8.2 虚拟化 设计 8.2.1 数据中 心服 务器 虚拟 化方 案设计 程序 ： a) 依据调
15、研分 析报 告、 汇总 各应用 系统 及硬 件设 备现 状，制 定虚 拟化 方案 整体 规划； b) 依 据预 算要 求 和 功能 需求 ， 按照 附录B的 规定 ， 选择虚 拟化 软件 ； c) 根据各 应用 系统 及物 理服 务器性 能情 况， 制定 各应 用系统 在虚 拟化 平台 具体 部署计 划； d) 以应用 为导向 ，制 定硬件 基础平 台的网 络及 存储环 境设计 方案， 推荐 采用HCI （超融 合架构 ） 替代传 统的SAN （存 储区 域 网络） 或者NAS （网 络附 加 存储） 等方 式完 成应 用数 据的集 中存 储和 管理 ； e) 依据各 应用 系统 运行 周期
16、并结合 物理 服务 器负 载设 定自动 开 关 机、 负载 均衡 及自动 容 错 策 略 ； f) 完善主 运营 站点 虚拟 化平 台功能 设定 之后 ， 制 定工 作 负载安 全机 制以 及绿 色容 灾系统 建设 详 细 方案， 进一 步完 善备 份恢 复策略 保障 业务 系统 和数 据的安 全。 8.2.2 虚拟化 方案 设计 应提 交的 文件： a) 虚拟化 建设 整体 规划 ； b) 虚拟化 平台 设备 性能 及分 布报表 ； c) 虚拟化 平台 网络 拓扑 、数 据存储 设计 方案 ； d) 虚拟化 平台 安全 节能 策略 设定明 细表 ； e) 数 据中 心数 据备 份方 案； f
17、) 数据中 心容 错、 容灾 建设 方案。 8.3 网络安 全设 计 服务器 虚拟 化应 依据 预算 要求、 功能 需求 及 “ 三同 步 ” 的 工作 要求 ， 进 行网 络 安全 设计 。 网 络 安 全 设计要 求包 括下 列内 容： a) 安 全能 力要 求： 1) 支持对 虚拟 服务 器进 行安 全区域 的划 分， 提供 虚拟 化微分 段功 能， 基于 各安 全区域 之 间 的 业务关 系部 署访 问控 制策 略； 2) 支持对 任意 虚拟 服务 器之 间的流 量进 行异 常流 量检 测和隔 离防 护； 3) 支持对 网络 病毒 、木 马和 恶意软 件在 虚拟 服务 器之 间蔓延 的
18、检 测发 现和 阻断 防护； 4) 支持对 数据 中心 所有 虚拟 服务器 资产 绘制 网络 拓扑 ， 并能够 在虚 拟资 产出 现异 常和威 胁 时 进行告 警； 5) 支持在 虚拟 服务 器发 生迁 移时， 安全 防护 策略 自动 跟随， 确保 安全 策略 能够 随着虚 拟 服 务 器的自 动迁 移而 实时 生效 ； 6) 应具备 代码 漏洞 和后 门扫 描机制 ； 7) 保证虚 拟服 务器 安全 ，虚 拟服务 器系 统应 支持 独立 的虚拟 化微 分段 、安 全防 火墙策 略； 8) 应 具 备 数 据 保 密性 ， 可 基于 操 作 系 统 内 核级 安 全 管控 技 术 对 关 键
19、进程 和 关 键数 据 进 行保 护，防 止数 据被 恶意 窃取 、篡改 ，防 止勒 索病 毒及 非法用 户对 数据 进行 加密 和损毁 ； DB37/T 1498 2022 5 9) 在多租 户的 云计 算环 境下 ， 应实 现不 同租 户之 间数 据和配 置的 安全 隔离 ， 保 证每个 租 户 数 据的安 全与 隐私 。 b) 安 全管 理要 求： 1) 支持安 全软 件的 管理 与业 务流量 的分 离； 2) 支持安 全软 件、 防护 策略 和统计 数据 的集 中管 理与 可视化 呈现 ； 3) 支持安 全防 护软 件动 态调 整。 能 够自 动发 现服 务器 的加入 和退 出， 并实
20、 现安 全软件 的 自 动 化部署 和删 除操 作。 c) 可 靠性 要求 ： 1) 支持安 全管 理平 台的 高可 靠机制 ，确 保安 全管 理平 台不存 在单 点故 障问 题； 2) 支持安 全防 护软 件的 高可 靠机制 ，当 安全 防护 软件 出现问 题时 自动 旁路 分流 业务流 量。 8.4 数据中 心配 套设 备及 空调 设计 8.4.1 数据中 心服 务器 虚拟 化过 程中， 应对 服务 器、 机柜、 空 调系统 进行 设计 及布 置， 并 应符 合 GB 50174 2017 中7.3 和7.4 的 规 定。 8.4.2 当机柜 中没 有安 装服 务器 设备时 ，应 设计 安
21、装 盲板 ，以避 免冷 热空 气的 短路 循环。 9 服务器 虚拟 化实 施 9.1 实施内 容 服务器 虚拟 化实 施内 容包 括： a) 工程实 施准 备； b) 虚拟化 工程 实施 ； c) 用户培 训和 文档 提交 ； d) 系统验 收与 试运 行； e) 售后服 务及 技术 支持 。 9.2 实施步 骤 服务器 虚拟 化实 施步 骤包 括： a) 部署虚 拟化 基础 架构 平台 软件； b) 部署配 置虚 拟化 基础 架构 管理软 件； c) 安装迁 移功 能模 块客 户端 ； d) 启动虚 拟机 迁移 ，逐 台完 成物理 应用 服务 器到 虚拟 应用服 务器 的转 换； e) 设定
22、监 控策 略， 对虚 拟化 后的系 统环 境进 行配 置优 化及安 全加 固； f) 部署基 于虚 拟化 的数 据备 份容错 机制 ； g) 部署基 于虚 拟化 的容 灾机 制； h) 制定功 能和 配置 测试 用例 ，并基 于用 例对 各项 功能 进行测 试验 证。 10 节能效 果评 价 10.1 评价指 标 宜采 用CADE 指 标对 数据 中 心服务 器虚 拟化 节能 实施 前、 后进 行节 能效 果评价 ，CADE 数 值越 高则 能 效越高 。 DB37/T 1498 2022 6 10.2 CADE 计算 10.2.1 CADE 按公 式（1 ）计 算： C ADE = (1)
23、式中： FE 设 备效 率，% ； AE 资 产效 率，% 。 10.2.2 资产效 率按 公式 （2 ）计 算 ： = (2) 式中： AE 资产 效率 ，%； S 数 据中 心服 务器 能效，%； CPU 数 据中 心服 务器 的CPU 利用 率，% 。 10.2.3 设备效 率按 公式 （3 ）计 算 ： = DCi E (3) 式中： FE 设 备效 率，% ； f 设 备利 用率 ，%。 10.2.4 数据中 心基 础架 构效 率按 公式（4） 计算 ： DCi E = 2 1 (4) 式中： P2 IT设 备总 能耗 ，单 位为千 瓦（kW）； P1 数据 中心 总能 耗， 单位为
24、 千瓦 （kW ）。 注： 数据中心总能耗为制冷用电负荷、供配电能耗、IT 设备总能 耗、其它能耗（照明等）的和值。 10.2.5 设备利 用率 按公 式（5） 计 算： = 2 (5) 式中： f 设 备利 用率 ，%； P2 IT 设备 总能 耗， 单 位为千 瓦（kW）； PU 数 据中 心电 容量 ， 单位为 千瓦 （kW ）。 A A DB37/T 1498 2022 7 附录A （资料 性） 硬件配 置调 查信 息表 硬件配 置调 查信 息如 图A.1 所示。 图 A.1 硬 件配 置调 查信 息 表DB37/T 1498 2022 8 B B 附录B （规范 性） 服务器 虚拟
25、化软 件选 型要 求 表B.1 规定 了 服 务器 虚拟 化 软件选 型要 求。 表B.1 服务 器虚 拟化 软件 选型 要 求 序号 能力要求 具体要求 01 虚拟化能力 支持数据中心服务器的虚拟化实施。虚拟服务器能实现数据中心服务器的全部功能，并具备虚拟 服务器间隔离与资源动态分配能力 02 具备存储资源调度能力，可将不同存储设备依特性分类，建立不同性能的共享式存储池。提供不 同存储协议的数据存储服务能力，如块、文件、对象等 03 管理能力 支持虚拟服务器生命周期管理，包括虚拟服务器的创建、删除、启动、停止、暂停、快照、迁移 等 04 支持虚拟化系统的资源监控，包括计算、存储及网络资源等。
26、支持手动及自动的虚拟机迁移 05 支持资源实时监控体系，提供虚拟服务器的监控数据及操作日志的采集和告警 06 支持通过远程连接的方式访问虚拟服务器。支持虚拟服务器间微分段隔离保护，其中每一个虚拟 服务器发生故障都不会影响同一个数据中心服务器上的其它虚拟服务器运行，且每个虚拟服务器 上的用户权限只限于本虚拟服务器之内，以保障系统平台的安全性 07 支持图形界面下，虚拟服务器的创建、删除、暂停、恢复、停止等操作 08 支持基于角色的用户管理权限设置机制 09 兼容性 具备对异构服务器产品的兼容性，能够兼容x86 处理器、ARM 、RISC-V 、MIPS 等处理器架构 的两种 及以上服务器产品 1
27、0 具备对多种存储协议的兼容性，能够兼容块、文件和对象等存储协议 11 具备对多种操作系统的兼容性，能够兼容现有主流操作系统，包括国内自主品牌操作系统 12 具备对异构服务器虚拟化软件的兼容性 13 可用性 支持存储高可用，提供基于多副本技术或纠删码技术的数据完整性保护机制 14 支持网络高可用，所有的网络连接线路和网络设备配置全部冗余设计 15 支持虚拟服务器高可用，虚拟服务器在无响应等状态下能够实现自动重启 16 安全性 支持多重认证访问机制，支持多种认证方式，只有通过系统认证的用户可以访问系统 17 具备数据私密性，提供加密或隔离等措施保证用户之间数据互不可访问 18 具备通过VLAN
28、进行虚拟化网络 隔离的能力 19 支持容灾安全机制，实现虚拟机管理数据的复制和容灾恢复计划的管理，在发生灾难时执行容灾 恢复计划进行自动容灾切换 20 虚拟存储系统应支持按照数据的安全级别建立容错和容灾机制， 降低因系统的误操作、 单 点失效、 意外灾难等因素带来的数据损失 21 可扩展性 支持在虚拟服务器之间部署高可用性、负载均衡、高性能计算等应用 22 具备通过增加服务器的方式扩展计算资源规模的能力 23 虚拟存储系统应支持在不中断正常存储服务的前提下实现对存储容量和存储服务进行任意扩展， 透明的添加和更替存储设备，并具有自动发现、安装、检测和管理不同类型存储设备的能力 DB37/T 14
29、98 2022 9 参考文 献 1 GB/T 20001.6 2017 标准 编写 规则 第6部 分 ：规程 标准 2 GB/T 22239 2019 网络安 全等 级保 护基 本要 求 3 GB/T 37988 2019 数据安 全能 力成 熟度 模型 4 GA/T 1541 2018 信息安 全技 术 虚拟 化安 全防护 产品 安全 技术 要求 和测试 评价 方法 5 T/CCSA 246.1 2019 面向 政府 采购 的云 计算 软件技 术要 求 第1 部分 ： 虚拟化 软件 6 关于 加快构 建全 国 一体化 大数据 中心 协同创 新体系 的指导 意见 （发 改高技 2020 192
30、2 号） 7 全 国一 体化 大数 据 中心协 同创 新体 系算 力枢 纽实施 方案 （ 发改 高技 2021 709号） 8 金海. 计 算系 统虚 拟化 原 理与 应用 M.北京: 清华 大学 出版 社，2008. 9 张耀,储佳佳, 翁楚 良. 纠 删 码 存 储系 统 数 据更 新方 法 研 究 综述J.计 算 机研 究 与 发 展,2020, 第57 卷(11):2419-2431. 10 Douglas Alger. Grow a Greener Data Center M.cisco press,2009. 11 James M.kaplan. Revolutionizing Data Center Energy Efficiency M.Mckinsey,2008 12 SamHalabi. HyperconvergedInfrastructureDataCenters:DemystifyingHCINetworking Technology M.cisco press,2019. 13 Eric Masanet,ArmanShehabi,NuoaLei,SarahSmith,JonathanKoomey.Recalibrating global data center energy-use estimatesJ. Science,2020,367(6481)
