1、 ICS 33.040 M10 中 华 人 民 共 和 国 通 信 行 业 标 准 YD YD/T 电信运营维护管理数据的管理技术要求 Technical requirements for management of telecommunication operation and maintenance data （报批稿） 20-发布 20-实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发布 YD/T I 目 次 1 范围 .1 2 规范性引用文件 .1 3 术语和定义 .1 4 缩略语 .1 5 数据管理目标 .2 6 数据管理对象 .2 7 数据管理职能 .3 7.1 数
2、据管理职能分类 .3 7.2 元数据管理 .3 7.2.1 元数据创建 .3 7.2.2 元数据维护 .3 7.2.3 元数据查询 .3 7.2.4 元数据分析 .4 7.3 主数据管理 .4 7.4 数据资产管理 .4 7.5 数据质量管理 . 5 7.5.1 数据质量指标 .5 7.5.2 数据质量管理职能 .5 7.6 数据安全管理 .6 7.6.1 数据安全管理职能 .6 7.6.2 不同安全等级数据的安全管理措施 .7 7.6.3 不同数据处理阶段的安全管理措施 .7 7.7 数据配置管理 .8 7.8 数据服务管理 .9 YD/T 2018 II 前 言 本 标准按 照 GB/T
3、1.1-2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准 起草单位 ： 中国电信集团有限公司、 北京邮电大学、大唐电信科技产业集团（电信科学技术 研究院）、北京交通大学 。 本标准主要起草人：凌颖、梁朝霞、柳扬 。 本次为首次发布。 YD/T 2018 1 电信运营维护管理数据的管理技术要求 1 范围 本标准规定了电信运营维护管理数据的管理对象及管理职能 ， 包括元数据管理 、 主数据 管理、数据资产管理、数据质量管理、数据安全管理、数据配置管理、数据服务管理等。 本标准适用于电信运营商开展
4、电信运营维护管理数据的管理体系建设及管理活动。 2 规范性引用文件 本文件没有规范性引用文件。 3 术语和定义 下列术语和定义适用于本文件。 3.1 主数据 master data 描述电信运营维护管理核心业务实体及其属性的数据 ， 由属主系统创建 、 可被其它系统 /模块引用和共享。 3.2 元数据 metadata 描述数据的数据，包括描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、 数据的提供方式等信息，是用以帮助查找、存取、使用和管理数据的信息。 3.3 数据稽核 data audit 对数据进行质量指标测量的行为。在执行数据稽核之前，先针对数据处理过程各环节， 制定出相应数据
5、质量指标 ， 而后加载数据稽核任务 ， 实施数据质量指标测量 ， 从而实现数据 质量监控。 4 缩略语 下列缩略语适用于本文件。 DPI： 深度报文检测 （ Deep Packet Inspection） GIS： 地理信息系统 （ Geographic Information System） IP： 互联网协议 （ Internet Protocol） MPP：大规模并行处理 （ Massively Parallel Processing） 5 数据管理目标 电信运营维护管理数据来源于电信运营维护管理过程 ， 是电信管理的重要部分 。 电信运 营维护管理数据的管理目标主要包括： YD/T 2
6、018 2 理解电信运营维护管理的信息需求； 获取、存储、保护数据资产的完整性； 不断提高数据质量，以满足业务需求； 确保数据安全，防止对数据在未经授权或不恰当的情况下被使用； 确保数据资产的有效利用和价值最大化，充分有效地发挥这些数据的作用。 6 数据管理对象 电信运营维护管理数据的管理对象是电信运营维护管理过程中产生的数据。 按照数据类型不同，电信运营维护管理数据可以分为元数据（ 如 ： 业务元数据、技术元 数据、管理元数据等 ） 、主数据（ 如 ： 实例类主数据、规格类主数据、管控类主数据、交互 协议类主数据等 ） 、交易数据（ 如 ： 话单、账单等用户业务行为记录数据 ） 、分析数据（
7、 如 ： 分析报表、客户标签等）等数据。 按照数据来源不同， 电信运营维护管理数据可以分为 IT 支撑数据、基础网络数据、业 务平台数据、外部数据以及整合分析数据。 IT支撑数据包括 ： 业务支撑数据（ 如 ： 客户资料、订单、产品 /销售品的目录 /规格 / 实例、定价计划、账单、计费话单、渠道等 ） ；运营支撑数据（如：服务定单、工 单、激活指令、资源配置、地域 /GIS、保障单等 ） ；管理支撑数据（如：人力、财 务、工程等 ） 。 基础网络数据包括：网元网管数据（如：配置、性能、告警、日志、信令、话单 等 ） ；管道流量数据（如：固网 DPI、移动 DPI、信令等 ） 。 业务平台数据
8、 包括 ： 管理平台数据（ 如 ： 注册用户信息、内容应用产品、用户业务 订购、用户业务使用、用户业务计费、合作伙伴信息等 ） ；能力平台数据（如：平 台话单数据、平台日志数据等 ） ；应用平台数据（如：注册用户信息、内容应用产 品、用户业务订购、用户业务使用等 ） 。 外部数据主要为合作伙伴数据（如：地图数据、终端数据等 ） 。 整合分析数据是基于对底层生产数据进行整合、加工、分析等一系列的萃取过程， 产生出的具有新的增值效果的数据。 7 数据管理职能 7.1 数据管理职能分类 电信运营维护管理数据的管理职能包括元数据管理 、 主数据管理 、 数据资产管理 、 数据 质量管理、数据安全管理、
9、数据配置管理、数据服务管理等七类，各类管理模块协同工作， 确保电信数据的一致、安全、有效。 7.2 元数据管理 7.2.1 元数据创建 添加元数据等操作可以由授权用户和程序以手工方式完成 ， 也可以通过元数据创建和更 新的工具定期扫描和更新元数据存储库，并采用审计流程以验证各项操作活动并报告异常。 YD/T 2018 3 元数据按照业务元数据（ 即 ： 业务属性描述数据，包括业务领域的业务术语、业务指标、业 务关系和业务规则等 ） 、技术元数据（ 即 ： 技术属性描述数据，包括数据处理与存储的数据 结构、数据处理过程的特征描述等 ） 、管理元数据（ 即 ： 管理属性描述数据，包括数据管理 流程
10、、角色职责、组织结构、人员分配等）分类存储。 7.2.2 元数据维护 元数据维护管理职能包括： 元数据版本管理 ： 在元数据的增删改操作过程中 ， 要对元数据的版本信息进行记录 。 元数据质量检查 ： 元数据数据质量问题将会导致数据理解及数据应用等环节出现连 锁问题，元数据质量检查内容包括： a）一致性检查：检查元数据存储库中的元数据与数据源的元数据之间的元数据信 息一致性，以避免数据源的元数据发生删除或修改变更时，元数据存储库中的 信息发生滞后等不一致现象； b）健全性检查：元数据存储库中多数元数据之间存在关联关系，其关联关系的健 全性，直接影响到维护人员对问题的判断与处理，也影响到应用开发
11、者对数据 流向的分析与判断。检查元数据存储库元数据相互间关联关系的健全性，发现 是否存在空链或错链等现象。 c）数据链路完整性检查：完整的数据链路从数据源头的数据生成为起点，经过一 系列数据转换处理过程，直到输出业务指标为终点。数据链路完整性检查主要 检查元数据是否描述了数据链路的所有环节。 d）元数据属性检查：主要检查元数据存储库中实体属性信息描述的完备性与准确 性，包括元数据属性填充率检查、元数据名称重复性检查、元数据关键属性值 的唯一性检查和元数据的属性取值合法性检查等。 7.2.3 元数据查询 元数据存储库应提供元数据基本信息的查询能力 。 查询展现元数据存储库的层次结构及 各层的 元
12、数据 ； 并可根据关键字查询，返回符合条件的元数据列表，并查看某元数据的详细 信息 ； 而且元数据查询应支持对元数据历史版本信息的查询 ， 以了解元数据的历史变更情况 。 7.2.4 元数据分析 元数据分析管理职能包括： 元数据的血缘关系分析 ： 是指从某一元数据实体作为起点，往回追溯其数据处理过 程 ， 直到电信运营维护管理的数据源接口 。 元数据的血缘关系分析可以回溯数据处 理过程中所找到的所有元数据对象， 以及这些元数据对象之间的关系 ； 这些元数据 对象可能是指标 、 接口文件 、 报表 、 数据库表 、 数据库视图 、 数据处理过程和数据 源接口等；元数据对象之间的关系表示这些元数据
13、对象的数据流输入输出关系。 元数据的影响评估分析 ： 是指从某一元数据实体出发 ， 寻找依赖该实体的处理过程 ， 通过递归方式寻找出所有的依赖实体 。 元数据的影响评估分析主要用来对某些实体 发生变化或者需要修改时 ， 评估实体影响范围 。 影响评估的分析范围 、 输出结果和 结束条件与血缘分析的相关要求一致。 YD/T 2018 4 7.3 主数据管理 主数据管理的目的是确定和建立电信运营维护管理范围内唯一 、 权威 、 相对稳定的数据 源头和数据编码标准 ， 确保跨域业务数据的一致性和完整性 ， 提升全网集约运营的效率与效 果。主数据管理 职能包括 ： 主数据编码管理 ： 按主数据标准实现
14、主数据编码，为主数据使用部门提供统一的主 数据； 主数据修改与版本管理：支持主数据的增删改操作，并进行主数据版本管理； 主数据 版本发布与订阅管理 ： 向所有主数据使用部门发布各版本，支持使用部门共 享不同版本主数据。 7.4 数据资产管理 电信运营商的数据资产作为企业拥有或者控制的数据资源 ， 通常以物理或电子的方式进 行记录 。 数据资产管理的目的是控制 、 保护 、 交付数据资产 ， 从而提高数据资产的价值 ， 使 数据资产管理系统化、可视化。数据资产管理职能包括： 数据注册管理 ： 数据注册过程是从数据源提取关键信息（ 如 ： 数据名称、类型、采 集周期、数据存放位置、元数据结构等 ）
15、 ，将这些关键信息添加到数据资产目录中， 供用户访问。数据注册管理支持多种方式（ 如 ： 采集器、在线维护、提供自助注册 接口 ） 注册数据资产 ， 并对数据资产提供审核及版本控制 ， 数据注册管理职能 包括 ： 数据源管理 、 数据资产注册申请 、 数据资产注册审核 、 数据资产生成 、 数据资产版 本管理等。 数据资产目录管理：数据资产目录可以展现已注册的数据资产以及相关的元数据， 并允许具有访问权限的用户使用这些信息 。 数据资产目录管理职能支持数据资产目 录生成和维护， 包括 ： 数据资产目录的增删改操作、控制数据资产的可见性、管理 数据资产的所有权、数据资产搜索和筛选、设置数据资产目
16、录访问权限等。 数据存储管理 ： 针对数据时效、占用存储空间大小、被查询访问的频度，以及不同 数据存储技术（如： Hadoop分布式文件数据、实时流式数据、 MPP数据库、归档 数据等 ） ，需要制定相应存储管理策略。数据存储管理职能包括：存储设备状态监 控 、 存储空间动态调整 、 存储空间分配等 ， 并提供高可用集群管理 、 数据异地备份 、 数据副本存储、数据容灾、数据迁移、内容管理、异常恢复等存储保障。 数据访问管理 ： 数据访问过程是具有数据访问权限的用户对数据资产进行访问的过 程。数据访问管理职能包括：对用户的数据访问权限管理、数据访问情况的监控、 以及对数据访问记录进行审计等。
17、数据销毁管理：数据注销报废过程是对已失效的数据资产进行注销和销毁的过程。 数据销毁管理是对无效或失效的数据资产进行清理的管理， 包括 ： 数据资产注销和 数据资产报废清除等。 YD/T 2018 5 7.5 数据质量管理 7.5.1 数据质量指标 数据质量是指衡量数据满足业务运行 、 管理与决策的程度 。 数据质量的主要衡量指标包 括： 数据准确性 ： 是指数据记录的原始信息符合事实和标准， 没有误差或偏差 ； 数据处 理过程严格遵循相关业务、技术定义的规则， 没有进行人为篡改和调整 ； 数据在各 处理环节的文件封装、数据校验、关键字段和信息关联等处理准确。 数据及时性 ： 是指在规定时限内，
18、完成数据的刷新、处理、 提供等操作 ； 在规定时 限内 ， 上下游环节的数据保持同步更新 ， 传输频率和传输时延等满足相关规范要求 。 数据一致性 ： 是指各环节的数据遵循统一数据规范标准，同一信息主体原则上在各 环节的取值是相同的，差异原因可解释、可追溯。 数据完整性 ： 是指端到端数据处理过程中数据信息不存在缺失。 主要包括 ： 信息实 体不缺失、属性不缺失、记录不缺失、字段值不缺失、主键不缺失等。 数据逻辑性 ： 是指在业务定义一致的情况下，关联数据间的逻辑关系是正确和完整 的，差异原因可解释、可追溯。 7.5.2 数据质量管理职能 数据质量管理是对数据从计划 、 获取 、 存储 、 共
19、享 、 维护 、 应用 、 销毁生命周期的每个 阶段里可能引发的各类数据质量问题 ， 进行质量识别 、 质量度量 、 质量优化提升 、 质量问题 预警等一系列管理活动。 7.5.2.1 数据稽核管理 为了保证数据处理各环节中数据的正确性和完整性 ， 需要对数据处理每个环节进行数据 稽核。数据稽核过程的管理职能包括： 稽核点管理： a）稽核指标配置：稽核指标的增删改，建立指标的各项描述参数，配置指标的取 数来源； b）稽核规则配置：稽核规则的增删改，建立稽核规则的各项描述参数，配置规则 表达式； c）稽核点配置：对稽核点（包括：数据源、数据采集节点、数据汇聚节点等）进 行分类管理，核对稽核点的参
20、数正确性。 稽核任务管理： a）稽核任务定义：将相关稽核点组织为稽核任务； b）稽核任务调度：稽核任务的自动化调度； c）稽核任务运行监控：监控稽核任务的运行状态，提供运行结果查询。 7.5.2.2 数据质量告警管理 在数据质量监控过程中发现数据异常时，自动触发告警后的相应处理过程。 告警规则配置：告警规则的增删改； 告警查询：根据一定条件进行告警信息的查询； YD/T 2018 6 告警处理：对不同级别的告警信息进行通知和派单等处理。 7.5.2.3 数据质量问题处理 数据质量问题处理是在数据质量告警过程中发现的严重告警或其他的数据质量问题时， 进行问题分析与处理的过程。数据质量问题包括：
21、数据源的数据缺失、重复、录入不规范、数据异常等问题； 数据采集 /汇聚节点的数据缺失、数据提供不完整、不及时等问题； 跨系统关联的数据命名和编码规范不一致 、 数据缺失导致数据无法跨域关联等问题 ； 系统运行故障或异常导致的数据质量问题。 数据质量问题管理职能包括： 问题生成 ： 提供统一的数据质量问题管理入口，实现告警管理模块的自动转发以及 技术人员和业务人员手工提交的问题的生成。 问题监控：实现问题的查询和手工派发、总结。 数据质量知识管理：对问题的解决方法与知识进行积累。 7.5.2.4 数据质量评估 数据质量评估是通过将数据质量评估规格与数据质量稽核指标的实际测量值作比较进 行的定量评
22、估。数据质量评估管理职能包括： 按日、月等周期生成数据质量统计报表； 提供稽核问题处理报表，实现对稽核问题处理情况的考核； 实现数据质量评估报告的创建、维护、查询等管理。 7.6 数据安全管理 7.6.1 数据安全管理职能 数据安全管理的目的是对电信运营维护管理数据提供行之有效的认证 、 授权 、 访问和审 计，实现对敏感数据访问控制和客户隐私信息保护。数据安全管理职能包括： 客户的隐私保护：采用加密等技术手段对涉及的隐私信息进行防护。 数据访问权限控制：对用户的数据访问权限进行细粒度的控制管理。 隐私信息配置：提供隐私数据的配置服务，为隐私数据的转化服务提供识别依据 。 隐私信息转化：为数据
23、管理相关环节提供隐私信息的去隐私化或脱敏服务。 日志记录服务：对数据管理各环节所产生的日志记录进行获取并整理。 离线文件加密服务：对导出的离线数据文件的加密服务。 数据传输加密服务：对传输过程中的数据提供加密、隔离等服务。 数据隔离服务：提供多租户数据隔离服务，防止数据被破坏或丢失。 数据备份容灾：提供异地容灾服务，防止存储数据设备发生物理损坏。 7.6.2 不同安全等级数据的安全管理措施 针对不同安全等级的数据采取不同的数据安全管理措施包括： YD/T 2018 7 普通数据是指数据公开不会对用户隐私 、 企业安全和利益造成任何损害的数据 ， 如 ： 设备告警数据等。普通数据采用明文存储，其
24、安全管理职能包括：防范外部攻击、 防止数据丢失等。 低敏感数据是指如果发生数据泄露 、 破坏 、 失效等情况会对用户隐私 、 企业安全和 利益造成轻微损害的数据， 如 ： 网络性能数据等。低敏感数据的使用和共享，其安 全管理职能包括：操作权限申请审批、数据访问控制等。 敏感数据是指属于电信运营维护管理数据中的重要信息 ， 一旦发生数据泄露 、 破坏 、 失效等情况会对用户隐私 、 企业安全和利益造成较严重损害 ， 进而对企业业务和信 誉度造成冲击的数据， 如 ： 网络资源数据、用户业务使用信息、用户信令等。敏感 数据的使用和共享，其安全管理职能 包括 ： 数据访问控制、操作权限申请审批、数 据
25、加密传输 、 数据呈现的脱敏处理 、 数据查询 /变更 /删除等操作的日志留存 （ 包括 ： 日志记录操作的人员、账号、操作时间、 IP地址、操作事项等 ） 。 极敏感数据是指属于电信运营维护管理数据中的核心信息，发生数据泄露、破坏、 失效等情况会对用户隐私、企业安全和利益造成任何严重损害的数据， 如 ： 携带用 户信息的话单数据 、 企业重要的经营数据等 。 极敏感数据的使用和共享 ， 其安全管 理职能 包括 ： 全生命周期的数据监控、数据访问权限控制、操作权限申请审批、数 据脱敏处理等。 7.6.3 不同数据处理阶段的安全管理措施 针对不同数据处理阶段采取不同的数据安全管理措施包括： 数据
26、产生阶段 ： 在该阶段中 ， 数据的生成过程不能影响网络和设备自身运行的安全 。 其安全管理职能 包括 ： 根据数据分类和安全级别，限制可访问数据产生设备的人员 和帐户的数量 ， 重点防范利用技术手段恶意修改数据的生成规则 ， 导致数据失真或 数据造假。 数据采集和传输阶段 ： 在该阶段中，不能对数据内容进行解析、修改或删除。其安 全管理职能 包括 ： 严格限制可访问采集数据的人员和帐户的数量，重点防范盗取数 据采集内容 、 拷贝数据 、 非法传送数据以及设备更换时因数据未销毁而导致的数据 泄露。 根据数据安全级别建立匹配的数据接口规范和传输安全策略 ； 针对敏感和极 敏感的数据 ， 数据传输
27、过程进行部分加密 、 完全加密或完全高强度加密 ， 在传输网 络边界上实现针对数据流向的隔离封堵的限制 ， 对安全域内 、 安全域间等不同数据 传输场景进行主动识别 ， 采取通道安全配置 、 密码算法选择 、 密钥集中控制 、 传输 协议升级等安全措施。 数据处理阶段 ： 在该阶段中 ， 需要进行数据解析 、 清洗 、 关联 、 计算 、 挖掘等处理 ， 敏感、极敏感的数据必须脱敏。其安全管理职能 包括 ： 针对处理敏感和极敏感数据 的数据库、表结构以及列维度等进行细粒度的用户、 IP地址的认证和授权。 数据存储 阶段 ： 在该阶段中 ， 数据需要按照存储策略 、 存储时间的要求在磁盘阵列 、
28、 服务器、云资源池上进行存储。其安全管理职能包括：数据存储加密、备份容灾、 多租户隔离 、 用户级粒度的认证和授权 。 特殊情况下第三方人员需要操作数据库时 ， YD/T 2018 8 必须经过审批和授权，且使用管理终端并由运营人员陪同。数据与其存储、访问、 备份和恢复的日志隔离存储。 数据使用阶段 ： 在该阶段中，数据共享展现严格按照用户的权限分权分域进行。其 安全管理职能 包括 ： 敏感和极敏感的数据禁止批量导出，并根据业务需求采用数据 加密 、 脱敏 、 密码认证 、 水印 、 机器认证 、 使用时长限制 、 使用次数限制 、 数据有 效期限制、编辑权限限制等。 数据销毁阶段 ： 在该阶
29、段中，数据销毁可采用对存储介质覆盖、消磁、销毁等方式 擦除数据，达到数据无法被再次利用的目的。其安全管理职能 包括 ： 敏感、极敏感 数据销毁时应保证系统内的文件 、 目录和数据库记录等资源所在的存储空间被释放 或重新分配前得到完全清除、不可恢复。 7.7 数据配置管理 数据配置是电信运营维护管理中的重要环节 ， 运维人员需要了解相关设备的软硬件配置 信息。数据配置管理的目的是保障数据配置操作的标准化。数据配置管理职能包括： 配置操作管理 ： 识别和确认电信运营维护管理过程中数据设备操作配置， 包括 ： 数 据产生激活 /去激活 、 数据输出激活 /去激活 、 数据文件类型 、 存储路径 、
30、命名规则 、 生成周期 、 数据字段格式 、 解析方法 、 接口定义 、 接口对接流程说明和常见问题处 理方案等 ； 记录创建或变更配置后 ， 设备输出数据与数据定义标准差异的详细描述 ， 以及各类数据的输出能力激活后对网络性能的影响情况的详细说明。 配置核查管理 ： 检验配置项的正确和完整性，根据数据设备提供的设备配置核查手 册 ， 对各网元的数据配置情况进行核查 ， 网元数量较大或检查复杂度较高时还应提 供一键核查的工具。 配置影响评估 ： 针对数据配置操作指令的执行，统计网络运行质量、影响客户感知 的运行指标 ， 与指令执行前的运行指标进行对比 ， 评估数据配置操作指令的执行带 来的影响
31、。若影响范围在运行指标允许范围内，则认为该指令 具备可操作性 ； 若超 出运行指标允许范围内，应中止该指令，并对数据配置操作指令进行检查与优化 。 数据生产的流向拓扑管理 ： 以数据流向拓扑图形式汇总数据从最初生成至最终使用 、 销毁的各环节的流向拓扑信息 ； 当数据流向拓扑发生变化时，及时对数据流向拓扑 图进行更新。 数据流向拓扑图包括 ： 数据生成、采集、加工、汇聚、应用、销毁各 节点的设备配置情况 、 数据文件格式和数据存储时间 ， 以及节点间传送网络拓扑配 置情况等信息。 7.8 数据服务管理 数据服务是将各类电信运营维护管理数据进行封装 ， 对外提供标准化的 、 可供检索 、 分 析
32、或可视化的服务交付。数据服务管理职能包括： 数据服务目录管理 ： 数据服务目录主要展现的是加工处理后形成的汇总数据，包括 以用户 、 客户等实例为粒度的应用宽表 ， 以指标为粒度的指标集市 ， 以应用标签为 YD/T 2018 9 粒度的标签集市 。 数据服务目录管理职能包括目录内容的新增 、 修改 、 删除 、 查询 等。 数据服务订阅管理 ： 数据服务订阅管理职能包括为数据使用方提供服务申请、订阅 审批、使用授权发布等，具体内容如下所述： a）服务申请：针对订阅数据，提供数据名称、数据时间、数据范围、数据订阅接 口、订阅周期、数据存储位置等相关信息。 b）订阅审批：针对订阅申请，核查数据使用方资质、业务背景、应用范围、数据 访问方式、部署方案、安全措施等，以及对设备性能的影响。 c）授权发布：申请经审批授权后，按照协定的数据访问方式，将所订阅的数据发 布给数据使用方；或将数据文件主动推送给使用方；或将数据文件放置在具备 安全条件的接口服务器，供使用方提取。 数据服务使用管理 ： 数据服务使用管理是对数据访问资源和工具能力（ 如 ： 建模工 具、数据沙箱、常用算法等）进行统一管控，管理职能 包括 ： 提供数据模型的在线 建模、模型变更、发布等。 _
