UNITY存储解决方案.pdf

《UNITY存储解决方案.pdf》由会员分享，可在线阅读，更多相关《UNITY存储解决方案.pdf（56页珍藏版）》请在麦多课文档分享上搜索。

1、 上 海 神 码 EMC 存 储 事 业 部 pengdy 1 UNITY+VPLEX 解决 方案 上 海 神 码 EMC 存 储 事 业 部 pengdy 2 1 系统方案设计 原则 1.1.系统先进性 在整个信息系统工程的建设中，作为整个信息系统的中心，我们首先应从其系统性能入手，通过客观的分析比较，确定一个具有世界先进架构的产品，就成为首要的任务。 从业务工作的情况来看，数据中心平台中所提供的服务较多，要达到能同时满足对各类信息的管理、统计和实时处理，则对于未来业务扩展以及系统升级的难度和风险大大降低。 系统业务的分布导致也就导致了数据的分布，能否提供一种解决方案，其不但能够满足分布数据

2、的要求，而且能够做到数据的统一管理，这也是影响着系统未来健康发展的主要因素。 1.2.系统高可靠性 作为整个信息系统工程系统核心业务平台和存储系统，一旦出现数据丢失或差错，不仅对客户个体利益和其整体利益均会造成难以挽回的经济损失，也将造成极坏的影响。 此外，作为整个数据 中心的核心，因为部分硬件的故障宕机而导致整个系统的瘫痪，同样是无法忍受的情况。因此我们在主机系统选型和系统配置时，应该充分考虑到系统可靠性在今后系统运行时的重要地位。在考虑系统建设时：一方面应选择系统运行可靠性高、技术成熟的机型；另一方面，在系统设计和配置中应发挥系统的容错特性。 1.3.系统的高性能 系统采用最新一代一体化产

3、品，保证系统的高性能。 系统升级不必停机，可在线进行软硬件升级。 1.4.系统扩充灵活性 随着信息系统的不断完善和增加，在未来这样的发展情况下，要求我们在确定产品时，也要充分保证基于系统本身的扩展性和今后多种行之有效的开发途径。 之所以有这样的要求，首先是系统本身发展的需要。其次，用户在进行如此大规模的系上 海 神 码 EMC 存 储 事 业 部 pengdy 3 统投资时，最关心的是系统建成后的投入产出比。因此，在系统建设之初，应首先立足当前应用进行系统配置，以系统扩展性能保证未来发展。也只有如此，才能在有限的资金投入下适应目前迫切要求，做到投资省，见效快，力争在最短的时间内，建成一套高效的

4、一体化系统。 只有采用具有高可扩展性系统，才能保证用户的系统投资 不至于因日益增长的业务需求而在几年内便不得不面临更新和淘汰的局面。 1.5 开放性原则 存储系统担负着所有接入 SAN网络的前端服务器的数据存储任务，在客户的实际系统中一定共存着多厂家各种类型操作系统的服务器，对所有操作系统的兼容也就成为存储系统的首要条件。 存储系统必须严格按照 SNIA(存储国际标准化组织 )制定的存储系统体系架构，确保系统的平台开放性原则。 除了操作系统的支持外，厂家提供的相关管理软件也应遵循同样的原则，只有这样的产品才是真正成熟的产品。 上 海 神 码 EMC 存 储 事 业 部 pengdy 4 2 总

5、体设计思路 2.1 数据集中存储 采用 EMC 最新 存储设备 UNITY300，建设集中式大型存储系统，采用先进的统一存储架构存储系统，实现各业务系统信息的共享。同时可以利用 EMC FastCache 技术，实现高速的数据读写。同时也可以将今后的虚拟化数据存放在有 ESXi 硬件优化的 UNITY存储内，满足未来虚拟化应用及存储性能和容量的同步扩展； 2.2 业务系统存储整合 将各分散独立的各个平台的业务系统数据迁移至现有 EMC UNITY 上，实现业务系统数据大集中，改善现有数据分散，资源利用率低，无法整合利用的局面； 2.3 存储高可用 采用存储虚拟化设备，将整合后的数据存储 到 E

6、MC UNITY从而 实现存储高可用，存储 之间 进行镜像，实现现有核心生产数据在两台存储之间的镜像，从而实现存储硬件的高可用，实现数据的 RPO=0和 RT0=0，利用存储虚拟化，可以实现数据高可用性； 2.4 存储虚拟化 通过采用 EMC Vplex虚拟化技术，能够将丰富的 存储 硬件平台进行虚拟化，实现计算资源的整合，并且实现对计算资源的灵活的调配，从而大大提高整个硬件资源平台的效率和灵活性。采用 Vplex 后，也为数据中心云计算奠定基础，将来在构建整个云计算 平台 的时候，能够平滑 切换，实现数据资源的动态流动； 上 海 神 码 EMC 存 储 事 业 部 pengdy 5 2.5

7、架构图 本次项目配置 UNITY300 存储两套， VPLEX 一套（双引擎） 上 海 神 码 EMC 存 储 事 业 部 pengdy 6 3 UNITY 集中存储 3.1 EMC UNITY 系列 EMC Unity 混合产品线凭借强大的简单性、现代化的设计、经济实惠的价格及灵活的部署， 为存储树立了新标准。它完全可以满足大型或小型公司中资源受限的 IT 专业人员的各项需求。 如果您在寻找功能丰富、使用简便且占用空间小的产品，如果您对成本比较敏感且希望找到同类最佳的选择，那么 EMC Unity 混合存储正是适合您的理想解决方案。 Unity 混合存储专为闪存而设计并带有丰富的数据服务，它

8、兼具闪存的性能和磁盘的成本优势，可满足混合应用程序、统一存储和分支办公室 ROBO 的需要。 概述 IT 专业人士正在艰难应对不断变化的工作要求，包括存储管理要求在内。他们正在经历前所未有的数据增长，同时 IT 预算正在承受巨大压力。这在中端市场尤为显而易见。中端市场的 IT 专业人士身兼数职，担任通才职能。他们既要处理服务器、网络、移动设备、桌面、虚拟化等任务，还要管理存储，因此在每一方面付出的精力都十分有限。如今， IT 通才亟需简单、现代、经济、灵活的存储技术以实现简化和自动化。 简单：数据在不断增长，而 IT 部门却没有随之扩大，因此您需要借助先进的存储技术来自动执行多种任务，从而帮助

9、高效完成工作。您无法花太多时间来学习成为一名存储专家或是阅读复杂的手册 它必须直观易用。 现代：您需要采用最新的技术来管理最新的工作负载。在 2015 年，闪存已经成为了上 海 神 码 EMC 存 储 事 业 部 pengdy 7 一项要求。因此设计系统时必须考虑到闪存，并利用最新的数据管理和移动性技术 因为您一定不想落后于人。 灵活：存储解决方案应当足够灵活，可以重新调整用途用于不 同的工作负载，包括数据块、文件、数据库、虚拟环境等，甚至是用作备份目标。存储应当提供多种部署模式，从专门构建的全闪存或混合配置到融合基础架构，甚至虚拟存储应用装置。 经济实惠：存储系统必须经济实惠，并且能够在系统

10、的整个使用寿命内提供最佳的总拥有成本。此外，它还要经济高效，能运行这些系统上的所有工作负载。 无与伦比的简单性和价值 Unity 为存储简单性和价值树立了标准。 Unity 混合经过全新的工程设计，可满足市场对闪存、经济实惠性和超高简洁性的需求。它提供四种可扩展的型号：基础型号为 Unity 300，然后依次可扩展至 Unity 400、 Unity 500 和 Unity 600。无论您需要 1TB 还是 3 PB* 的存储容量， Unity 混合都能满足您的需求。（ *希望日后扩展） Unity 混合是唯一一款成功满足了当今中端市场统一存储 IT 专业人员面临的全部 4 项要求的统一存储系

11、统，这些要求是：简单、现代、经济、灵活。 Unity 混合简单易用： Unity 以其简化的客户安装、流畅的用户界面、直观的云支持管理和主动协助功能，为中端存储市场的简单性树立了新标准。 Unity 混合现代先进： Unity 拥有现代的 2U 体系结构，专为闪存设计，支持 3D NAND TLC 驱动器和硬盘驱动器。 Unity 混合支持文件和数据块环境、时间点快照、同步和异步复制、内置加密、分层至云，并能与 VMware、 Microsoft 和 OpenStack 进行深度的生态系统集成。专为闪存而设计，兼备现代 EMC 数据保护选项。 Unity 混合灵活高效：如果您需要具备自动分层和

12、闪存缓存的混合解决方案来支持您的文件或数据块应用程序， Unity 混合可满足您的需求。 Unity 还可用作免费的虚拟存储应用装置 (Unity VSA)、 专门构建的混合或全闪存系统，或是融合系统 一个操作系统可将所有这些连接为一体。 Unity 混合经济实惠：我们的双主动控制器系统在设计中专门优化了性能、密度和存储成本，以令人难以置信的低成本提供全闪存性能。 上 海 神 码 EMC 存 储 事 业 部 pengdy 8 功能齐全的软件及更多 标配包含功能丰富的基于阵列的一体化软件。可选产品 /服务包括与众不同的 Unity 部署选项、可用性和移动性、保护和网络选项。 Unity 混合全闪

13、存标配有限担保，还包括可用的增强型特优选项。 上 海 神 码 EMC 存 储 事 业 部 pengdy 9 4 UNITY 系列产品 优势 4.1 最强大的统一存储平台 UNITY 系列是一种强健的平台，整合了原有的数据块存储、文件服务器和直连应用程序存储，使企业可以动态增加、共享和经济高效地管理多协议文件系统以及多协议数据块存储访问。借助 UNITY 操作环境， Microsoft Windows 和 Linux/UNIX 客户端可以在多协议 (NFS 和 CIFS)环境中共享文件。同时，它还支持高带宽和对延迟敏感的数据块应用程序通过 iSCSI、光纤通道和 FCoE 进行访问。 UNITY

14、 系列新一代存储平台非常适用于物理和虚拟混合工作负载，它由带有 6 Gb/s SAS 驱动器后端的最新 Intel 多 核 Xeon 5600 系列处理器提供强劲动力，可提供更强大的能力、更高的效率、更完善的保护 一切都易如反掌。 4.2 使用闪存进行优化提高了系统性能 UNITY 系列启用了多核优化，可释放闪存的强大力量，以满足虚拟化应用程序的高性能、低延迟的要求。 构建混合阵列的传统方法需要将闪存驱动器添加到基于传统硬盘的阵列中。这种方法可实现多种工作负载的整合，并可实现较低的单位 GB 成本。但是，由于系统并不是为闪存设计的，因此它不仅会限制可扩展性，还会增加成本。 上 海 神 码 EM

15、C 存 储 事 业 部 pengdy 10 UNITY 系列闪存优化混合阵列设计是一种更好的选择。通过专为闪存设计的系统，可消除瓶颈，进而实现最高性能和最低延迟。随后，通过添加 FAST VP 分层和高容量 NL-SAS 驱动器，可以降低非活动数据的成本。 所有 UNITY 数据服务分布于所有核心 最多可达 32 个。这种方法可以实现前所未有的应用程序性能，同时保持合理的定价。 文件事务处理量提高多达 4 倍以上 Oracle 和 SQL OLTP 事务处理量提高多达 4 倍以上 虚拟机数量提高多达 4 倍以上 Oracle 和 SQL 数据仓储的带 宽提高多达 3 倍以上 上 海 神 码 E

16、MC 存 储 事 业 部 pengdy 11 4.3 通过自动化更高效地使用存储容量 即使只有几个闪存驱动器与 EMC FAST Suite（一套无可匹敌的强大软件，可跨异构驱动器对数据进行分层，并将最活跃的数据放入缓存中）结合使用，客户也能体验到闪存优先战略带来的最佳性能优势。 EMC 独家提供的闪存优先战略确保客户再也不用在成本和性能之间反复权衡。活动高度频繁的数据由高达 4.2 TB 的闪存驱动器提供服务，该驱动器带有 FAST Cache，可以动态吸收系统工作负载的意外高峰。随着数据期龄增加及其活动性随时间发展而变得不再 频繁， FAST VP（针对虚拟池的全自动存储分层）会以 256

17、 MB 为增量，将数据从高性能驱动器分层到高容量驱动器，以降低总体成本 不用考虑应用程序类型或数据期龄。 在只需几个闪存驱动器（通常不到 5%）用于改善性能、降低成本的同时，客户还可以通过重复数据消除进一步降低成本。 UNITY 基于带外数据块的重复数据消除可以大幅降低闪存层的成本。在本示例中，与 210 个 15k 驱动器相比， FAST + 重复数据消除可使成本降低 86%。复合效率的优势非常适用于虚拟机，以及拥有跨多个来源的冗余数据的其他环境。 上 海 神 码 EMC 存 储 事 业 部 pengdy 12 UNITY 系列随附提供了很多附加功能，有助于确保冗余或非活动数据不占用宝贵的存

18、储资源。数据块压缩功能（旨在处理相对不活动的 LUN，例如备份副本和静态数据存储库）会自动压缩数据，使客户可以重新收回容量，并将数据的占用空间减少高达 50%。文件级重复数据消除 /压缩功能通过对非活动文件进行有选择的压缩和重复数据消除，将所使用的磁盘空间减少了高达 50%。因为这些功能是作为后台任务运行的，所以可将系统性能开销降至最低。 4.4 持续可用性保持业务正常运营 UNITY 系列设计为可在关键业务环境中提供 “5 个 9”的可用性。 UNITY 可用性和冗余功能包括： 镜像写缓存，它当中的每个存储处理器都同时包含其 LUN 的主缓存数据以及其对等存储处理器的缓存的辅助拷贝 备用电池

19、能够在出现电源故障时按顺序执行关机，缓存会转储到存储区磁盘，以确保数据得到保护 RAID 保护级别 0、 1、 1/0、 3、 5 和 6 所有这些级别都可以同时并存于同一阵列中，以适应不同的保护要求 主动热备盘增强了系统稳定性并提供最大的可靠性和可用性 冗余数据路径、电源、驱动器连接和存储处理器，所有这些都具备无中断现场更换能力 提供持续的系统监控、呼叫总部通知和高级远程诊断功能 EMC VPLEX 可将这种持续可用性扩展到数据中心内部以及数据中心之间 上 海 神 码 EMC 存 储 事 业 部 pengdy 13 EMC UNITY 数据保护软件可按每个应用程序的需要提供适当的保护： 本地

20、保护随附提供了快照，用于借助 RecoverPoint 本地复制进行时间点恢复和持续保护数据 远程保护可随与 RecoverPoint 连续远程复制相同的类 DVR 恢复一同提供 为了制作有应用程序控制的应用程序一致性复制副本， Replication Manager 和 AppSync 以服务的形式提供了应用程序 保护 EMC 备份和恢复解决方案（包括 Data Domain、 Avamar 和 Networker）可缩短备份窗口、加快恢复速度，并与重复数据消除功能一起减小备份大小。 4.5 功能强大的动态多核架构 UNITY 采用新的体系结构（即多核优化：多核 RAID、多核缓存和多核 F

21、AST Cache），UNITY 系列平台专为充分发挥闪存的潜力而设计。它在全新设计中考虑了闪存，是一种为闪存而设计的阵列，可提供最低的延迟和最高的性能（例如最佳的每 IOPS 成本）以全新的设计SP A SP B32 条通道 C MI32 个C P U核心160 条通道P C I E第 3 代1500 个SSD 或H D DS A S 2 . 0S A S 2 . 0光纤通道、i S C S I 、 N F S 、p N F S 和 C I F S22 个P C I EIO 插槽光纤通道、i S C S I 、 N F S 、p N F S 和 C I F S上 海 神 码 EMC 存 储

22、事 业 部 pengdy 14 及添加 HDD 的能力，实现最低的每 GB 平均成本（即容量优化）。选用 UNITY 系列产品通过充分利用随着 多核优化 引入的最新 Intel 多核技术，启用 多核优化 的全新 UNITY 系列可发挥闪存的潜力。多核优化可将所有 UNITY 数据服务均匀地分布在系统中的所有核心。重新设计可确保我们的缓存管理和后端 RAID 管理流程充分利用多核 CPU，并允许缓存和后端处理软件线性扩展以实现最佳性价比。 借助 多核优化 ， UNITY 系统的平台效率呈数量级增加。这样能够以多种方式令客户受益： 多核优化 加快了整体 IT 性能 多核优化 极大提高了关键性能应用

23、的响应能力 多核优化 降低了平台过度调配需要，通过提供更好的平台效率来降低电力供应 多核优化 能够以更少的占用空间运行更多虚拟机，极大降低了每个虚拟机的平均成本 多核优化 可通过显著降低每个事务的平均成本来支持更多业务事务 多核优化 限制了无限蔓延的存储控制器需求。采用 多核优化 技术的一个 UNITY 可以处理一个多节点存储群集的工作。 启用 多核优化 （多核优化）的新的 EMC UNITY 系列提供以下优势： 以 1/3 的价格提供传统中端阵列的事务处理性能，降低客户的总体拥有成本 支持多达 4 倍的虚拟机数量、更多事务处理、更多文件操作和更多虚拟桌面 全部以合理的价格提供 事务性应用程序

24、的文件性能最多提高到 3 倍，响应时间缩短 60% FAST Suite 改进和数据块重复数据消除使存储容量需求最多减少 50% 超越了高可用性的范围，可利用双活动操作和 VPLEX 在数据中心内部和之间持续执行操作 通过自助式 IT、更高的可见性和与 VMware vSphere 和 Microsoft Hyper-V 紧密集成，提高管理工作效率 上 海 神 码 EMC 存 储 事 业 部 pengdy 15 4.6 自动数据分层技术 EMC FAST Suite 对异构驱动器上的数据块和文件数据进行分层，并将最活跃的数据提升到缓存，从而确保客户永远不必在成本或性能方面有所让步。 FAST

25、Cache 可以动态吸收系统工作负载的意外高峰。随着数据保留时间的增加，活动性会降低， FAST VP 根据客户定义的策略，自动将该数据从高性能驱动器分层到高容量驱动器。 利用基于企业级多层单元技术的新 FAST VP 固态磁盘，此功能的粒度增加到 4 倍，可降低每 GB 成本。所有使用情形都将从效率提升中受益。 本次方案中配置了 100GB FAST Cache， UNITY FAST Cache 是采用多核缓存技术Multi-Core Cache (MCC) 功能使缓存引擎能够充分利用系统中可用的所有核心。 MCC 无需手动隔离读取与写入缓存的空间，因此无需任何管理开销即可确保缓存能够有效

26、工作，无需考虑 I/O 混合。此优化功能可提供端到端多核软件堆栈来处理 CPU 亲和性。 UNITY 是采用 Multi-Core FAST Cache 可提高系统功能， UNITY 系列存储可以按照新的堆栈顺序将 MCC 层放在 FAST Cache 之上，这样无需通过参考 FAST Cache 位图来确定某个数据块是否驻留在 FAST Cache 中就能处理所有 DRAM 缓存命中，从而节省了所有 I/O 的 CPU 周期开销。 FAST Cache 是闪存驱动器（单层单元，又名 SLC），专门与 FAST Cache 一起使用，可提供 100 GB 和 200 GB 容量。 FAST C

27、ache 可最好地满足缓存所需的密集型读取 /写入工作负载要求， FAST Cache 采用扩展的升级队列，以便能够在非常活跃的系统中处理更多升级。 脏页现在会从 FAST Cache 中主动刷掉，这样降低了升级延迟并且 可根据需要更快地释放出 FAST Cache 内的空间。 64KB64KB64KBF A S T 虚拟池F A S TC a c h eNL - HDDHDDSSD256 MBF A S T C a ch e 、 F A S T VP 以及文件和数据块凭借 e M LC 和更高的 F A S T VP 粒度降低资本开支适用于文件和数据块 的全自动分层 F A S T C a

28、ch e 从 H D D 或 NL - H D D 层向 F AST C a c he优化的 SSD 进行缓存， 页面粒度为 KB 级别 F A S T VP 在 F AST VP 优化的 SSD 、 H D D 和 NL - H D D层间动态地移动数据， 存储片粒度为 256 MB 将 二者共同 部署以确保最高的 IO 粒度 可能为 SAN 部署或者为 N F S 或 C I F S 使用 L U N粒度提高 4,096 倍SAN L U NL U NN F S / C I F S N A S 卷上 海 神 码 EMC 存 储 事 业 部 pengdy 16 FAST Cache 现在采用

29、更积极的策略来支持初始预热。不再需要通过三次命中将数据复制到 FAST Cache，如果 FAST Cache 未满，现在更像是执行标准缓存扩展，基于单次命中加载数据。当 FAST Cache 空间占用了 80% 时，则执行 3 次命中策略来提供最佳值。 采用 EMC FAST 全自动分层软件，非常适合用于交警总队传统 IT 应用程序和纵向使用情形。它们有一个共同的特点，即它们都在某个时间点需要性能，然后在另一个时间点获得 效率收益，而 FAST 正好满足了这个需要。 4.7 文件和数据块级重复数据消除 选用的 UNITY 存储支持文件和数据块重复数据消除和压缩功能，本次选用的 UNITY B

30、lock Deduplication（数据块消除）配置基于数据块的重复数据删除功能，能够为交警总队提供对在线数据的重复删除功能，以减少磁盘容量损耗，提高磁盘空间利用率。 UNITY为了确保性能不受影响，采用固定数据块重复数据消除可提供 8 K 数据块大小的粒度，非常适用于包含冗余数据块的生产数据，例如永久 VDI。重复数据消除发生在处理过程之后以最大限度降低主机 I/O 影响。 由于只需要少量闪存驱动器（通常不到 5%）来改善性能和降低成本，因此客户可以利用重复数据消除进一步降低成本。 UNITY 基于数据块的带外重复数据消除可以大幅降低闪存层的成本。在此示例中，与 210 块 15k 驱动器

31、相比， FAST 与重复数据消除相结合可降低 86% 的成本。复合效率的优势非常适合虚拟机以及其他有冗余数据分布在多个源上的环境。 基于数据块消除，是在存储 LUN 级别设置重复数据消除功能 ，无需我们关心开启还是关闭状态，对于每个池都设置了重复数据消除率（高、中或低），此设置适用于池中的所有执行过重复数据消除的 LUN。按照用户实际需求，还可以在给定的池内或整个系统上停止重复数据消除，重复数据消除功能还可以释放出的空间会在池级别与池内的所有 LUN 共享， UNITY Block Deduplication 可在子文件级别处理 8 KB 数据块。 File Deduplication and

32、 Compression 可为 UNITY 文件系统提供单实例存储，并且最高可节省 50% 的容量。 UNITY Block Deduplication 和传统的虚拟带库是本质区别。 UNITY Block Deduplication 可帮助降低主存储的成本，特别是最昂贵的闪存层。通过在闪存层使用重上 海 神 码 EMC 存 储 事 业 部 pengdy 17 复数据消除功能（ SAS 层也如此），客户可降低投资成本，加强 FAST Suite 的整体价值主张。而虚拟带库重复数据消除功能非常适合备份和归档工作负载，可降低备份和归档存储要求。虽然 UNITY 和 虚拟带库的重复数据消除功能是相互

33、独立的，但是也可以将它们看作是互补的；虽然 虚拟带库将读取每个数据块（无论是否共享），但 是它会在线内消除重复数据，从而最大限度降低备份所需的容量。 4.8 先进的内部磁盘链路结构 UNITY 存储系统采用了 6Gbps 速率的 SAS 连接控制器和独立磁盘。它能自动检测和隔离故障磁盘。与通常的磁盘串联的方式相比，不仅改善了系统的可靠性，还降低了磁盘出错的影响。与传统方式的 I/O 处理，相比数据传输迟延缩短了 30%之多。 给用户带来的好处： 降低磁盘发生故障后对可用性的影响。 4.9 自我诊断的高效性 磁盘的自我诊断是 EMC UNITY 存储系统的另一个标准的功能，所有的故障都自动报告。

34、磁盘中的数据在磁盘出现 故障预警时自动拷贝到热备盘中，当拷贝完成时，故障磁盘就被隔离，热备盘就替换原磁盘加入 RAID 组中。在出现磁盘故障的情况下，故障磁盘上的数据可以通过全局热备用功能自动 拷贝而不是重构 到热备盘中。当故障磁盘被替换时，数据会自动从热备盘中拷贝回到新插入的磁盘中，整个过程对用户完全透明。为提高存储资源的利用率，所有的 RAID 组能共享热备盘。 给用户带来的好处： 提高磁盘的可用性和存储资源的利用率。 上 海 神 码 EMC 存 储 事 业 部 pengdy 18 5 自动分层存储技术介绍 5.1 概念解释 自动分层存储 （ Automated Tiered Storag

35、e management,ATS）管理系统的基本业务是能够将数据安全地迁移到较低的存储层中并削减存储成本。在其他的情况下，有必要将数据迁移到更高性能的存储层中。自动存储分层（ AST）在于两个目标 降低成本和提高性能。 从 I/O 角度来看， AST 的主要目标是将随机 I/O 尽可能多地转移到高性能介质 (闪存 )上，以最大程度地减少 HDD 上的随机 I/O 负荷，并减少平均延迟。随机 I/O 和顺序 I/O 之间的区分非常重要，因为对于连续读写，闪存与 HDD 相比性价比优势并不明显 (原因在于 HDD 非常适于处理顺序 I/O)。 目前最常见的 “Sub -LUN” 式自动分层存储技术

36、，基本上可视为是三个功能的综合： （ 1）存储虚拟化：将分散在不同存储层的磁盘区块，组合成虚拟的 Volume或 LUN.也就是将 Volume或 LUN 的区块分散到不同存储层上。 （ 2）存取行为的追踪统计与分析 ：持续追踪与统计每个磁盘区块的存取频率，并透过定期分析，识别出存取频率高的 “ 热 ” 区块，与存取频率低的 “ 冷 ” 区块。 （ 3）数据迁移：以存取频率为基础，定期执行数据搬移，将热点区块数据搬移到高速存储层，较不活跃的冷区块数据则搬移到低速存储层。 由于存取行为追踪统计分析与数据迁移作业，都会消耗磁盘阵列控制器的能效，因此多数自动分层存储，都会提供预设操作功能，让使用者设

37、定允许系统执行统计分析与数据迁移操作的时间区段，以便避开存取高峰时段，如可设定为只允许在晚上 7点以后、或周五晚上到周日凌晨等下班时段，执行分 析与迁移操作。 实现 AST 的两种不同方式：迁移与缓存 基于迁移的 AST 可自动化数据迁移的流程。当一个数据块被确定为 “ 热 ” 数据时，会将该数据块移至速度较快的介质，当该数据块变 “ 冷 ” 时，会将其移回速度较慢的介质。移入和移出闪存都需要访问 HDD。对应于 UNITY的 FAST VP。 基于缓存的 AST 使用广为人知的缓存方式将热数据 “ 提升 ” 到高性能的介质中。由于 HDD 上仍保留有数据的副本，因此当数据变 “ 冷 ” 时，

38、只需将其从缓存中释放即可，而不需要额外的 HDD I/O。对应于 UNITY的 FAST Cache。 上 海 神 码 EMC 存 储 事 业 部 pengdy 19 5.2 FAST VP 概述 FAST VP全称指 Fully Automated Storage Tiering Virtual Pool而不是 Fully Automated Storage Tiering Virtual Provisioning。 UNITY FAST VP 采用了 Sub-LUN层级的自 动迁移技术，即数据的精细度优于 LUN， slice为 256MB。 一个 Storage pool中可以使用 3种

39、不同的 disk，在 Storage pool里的 LUN将自动分布在 3层： 1. Extreme Performance Tier Flash drives 2. Performance Tier SAS drives for UNITY platforms and Fibre Channel drives for CX4 platforms 3. Capacity Tier Near-Line SAS (NL-SAS) drives for UNITY platforms and SATA drives for CX4 platforms Storage pool 支持 Thin LUN

40、与 Thick LUN，当然 FAST VP也支持两种 LUN。 Thick LUN即传统 LUN， Thin LUN 即只分配 Host真正需要的空间。 传统 RAID Group 由于只能使用一种 Disk，因此不能做自动分层，可以使用 LUN 迁移工具来做迁移。 5.3 FAST VP 算法 FAST VP使用了 3 种机制来判断以及移动 slice到正确的存储层： Statistics collection 一个 slice上的数据是否比另一个 slice热或冷取决于这两个slice上数据访问的相关性。 FAST VP通过维持一个 IO计数器来衡量某个 slice最近访问的权重，该权重

41、随着时间而减弱。新 IO给予最高的权重， 24小时后权重减半，一周后权重就非常少了。 analysis 每隔一个小时， FAST VP就会根据收 集来的权重进行 Storage Pool内的热度排名。注意是单个 Storage Pool，所以一个 Storage Pool的最热的 slice可能还不如另外一个 Storage Pool最冷的 slice热。 relocation 在用户设置好的时间内， FAST VP根据热度排名和用户设定好的规则来对256MB的 slice进行自动分层。 上 海 神 码 EMC 存 储 事 业 部 pengdy 20 FAST VP会把最热的 slice分配到

42、性能最好的层； slice只会在比它更热的 slice需要它所占用的空间时才会被移动到低一级存储层。这样的话，性能最好的层总能得到最大的利用。 relocation可以手工触发或用户可配置的计划触发。最密集可设定每天重新配置一次。为避免重新配置的数据迁移动作耗用太多 I/O资源，还可设定每次操作允许搬移的数据量。 5.4 FAST VP LUN 的分层管理 有些 FAST VP 属性可以在 LUN这一级别进行管理： (1) 自动分层 (Auto Tier)：预设政策，将数据分散存放到横跨所有层级磁盘的存储池上，后续再依追踪到的数据活跃程度，在不同层级磁盘间自动迁移 (2) 优先最高分层 (Hi

43、ghest available tier)：尽可能将数据放到高速层磁盘，以提高效能。 (3) 优先最低分层 (Lowest available tier)：尽可能将数据放到低速层磁盘，以减少成本。 (4) 无数据迁移 (No Data Movement)：执行了最初分层设定后，便不再进行数据迁移。 5.5 FAST Cache 介绍 实现 AST 有两种不同方式：迁移与缓存。基于缓存的 AST 使用广为人知的缓存方式将热数据 “ 提升 ” 到高性能的介质中。由于 HDD 上仍保留有数据的副本，因此当数据变 “ 冷 ”时，只需将其从缓存中释放即可，而不需要额外的 HDD I/O。对应于 UNIT

44、Y的 FAST Cache。 简单说来， FAST Cache 就是把系统内空闲的 SSD（ EMC 称之为 EFD），用来替代 CLARiiON 系统上的内存，当做一种数据高峰时在高速的系统内存底下一层的缓存来使用，而作为内存的补充，由于 SSD也都是基于 FLASH技术实现的，因此，速度也确实能够允许其在内存和磁盘间作为缓存来用。 5.6 FAST Cache 与 FAST VP FAST Cache与 FAST VP最大的区别是其重新构建一个能满足高性能要求的 Flash drive存储 Cache区 ,重点关注性能，而 FAST VP 只是通过 Pool来实现 sub-LUN的分层，从

45、而实现数据根据性能要求分布到存储的不同层，关注总使用成本 (TCO)。 EMC 建议整合 FAST、 FAST Cache和块级压缩技术，提升中端系统的性能： 1.FAST VP最小单位是 256MB，而 FAST Cache是 64KB。 上 海 神 码 EMC 存 储 事 业 部 pengdy 21 2.当数据被频繁访问时，将其从硬盘拷贝到 Flash drives中，而 FAST VP 只是在不同层间移动 . 3. FAST Cache 可以与 FAST VP 结合起来一起使用 ,比如，当数据已经正在移向或已经在 Flash drive时就不必将其移动到 FAST Cache，即使该数据

46、块满足要提升到 FAST Cache条件，从而避免浪费系统资源。 4.一般推荐是在存储中的 Flash drive首先作为 FAST Cache,但在某些情况下，如当 IO块小于 128KB时，因其读 64KB需要多个 IO 次数来完成其提升时，建议用 FAST VP方式 5. 当 FAST Cache 处于 degrade 状态时， FAST Cache 会变成只读。性能层会通过快速提 升 64KB大小的 chunk到 FAST Cache,从而减少数据到 FAST Cache的时间。 从数据的角度来看，一般情况下，整个存储中只有一小部分空间提供了绝大多数的 IO.数据分析表明一个卷的 85

47、%的 IO量是由其 15%的容量完成的。这个 15%的容量称贷为 ” 工作区 ”,FAST VP 和 FAST Cache就是将这些 ” 工作区 ” 尽可能地保存在高性能的磁盘中。 5.7 Storage pool 与 Raid Group 首先， Storage pool 可以看作是 RAID group 上面一层的逻辑结构。也就是说， Storage pool其实从底层来说也是由多个 RAID group 所组成。这些 Storage pool 下的 RAID group 通常被称为 private RAID group，以和用于创建 tranditional LUN 的普通 RAID g

48、roup 相区别。 引入 Storage pool 的好处， 上面已经详细提到的全自动存储分层 (FAST)，等于是把不同应用的数据直接丢到 Pool 里，让系统自己去按照已有的优化算法来根据数据的使用情况做分层存储，平衡了性能和资源。另外，使用 pool 里的 thin LUN 或 thick LUN 能 根据 实际需求在分配存储资源时带来更大的效率，灵活性，也易于管理。还有就是，单个传统 RAID group会受到 16个磁盘的限制，而 Storage pool本身可含上百个的磁盘（很多个 private RAID group），所以在容量拓展和管理上也更方便。 不过，并不是说有了 Sto

49、rage pool，传统 RAID group 就 完全被取代或是放弃了。从传统RAID group 创建的 tranditional LUN 有其特殊的使用场合，特别是对性能要求严苛，并且需要物理上做到数据隔离的场合。 具体举个跟 oracle 数 据库相关的实例来说下。例如，你配置时可以把 oracle 数据库文件本身放在由 RAID 5 构成的一个 pool 里，然后考虑到 oracle 的 Log 文件对写性能的高度依赖性，可把 Log 文件单独拉出来存放在一个传统的 RAID group（ RAID 1/0 模式）或是另一个由上 海 神 码 EMC 存 储 事 业 部 pengdy 22 RAID 1/0 构成的 pool 里，做到数据隔离和性能优化。同样，对于用于存储临时表、临时 store procedure、子查询等信息的 TempDB 数据库，由于其本身对读写性能要求也很高，所以也建议单独拉出来放在另一个由 RAID 1/0 构成的传统 RAID group 或专门 RAID 1/0 pool