JR T 0237—2021 金融大数据平台总体技术要求.pdf
《JR T 0237—2021 金融大数据平台总体技术要求.pdf》由会员分享,可在线阅读,更多相关《JR T 0237—2021 金融大数据平台总体技术要求.pdf(20页珍藏版)》请在麦多课文档分享上搜索。
1、 ICS 35.240.40 CCS A 11 JR 中 华 人 民 共 和 国 金融 行 业 标 准 JR/T 0237 2021 金融大数 据 平台总 体技术要 求 General technical requirements of financial big data platform 2021-12-29 发布 2021-12-29 实施 中 国 人 民 银 行 发布 JR/T 0237 2021 I 目 次 前言 . II 1 范围 . 1 2 规范 性引 用文 件 . 1 3 术语 和定 义 . 1 4 缩略 语 . 3 5 金融 大数 据信 息价 值链 . 3 6 金融 大数 据
2、平 台总 体目标 . 4 7 金融 大数 据平 台功 能技 术要求 . 4 7.1 概述 . 4 7.2 数 据接 入功 能要 求 . 5 7.3 数 据存 储功 能要 求 . 6 7.4 数 据处 理功 能要 求 . 7 7.5 数 据分 析功 能要 求 . 8 7.6 数 据服 务功 能要 求 . 9 7.7 平台 运 维功 能要 求 . 10 8 金融 大数 据平 台非 功能 技术要 求 . 12 8.1 安 全性 要求 . 12 8.2 可 靠性 要求 . 12 8.3 性能 要求 . 12 9 金融 大数 据平 台接 口技 术要求 . 13 9.1 数 据接 入接 口技术 要求 .
3、13 9.2 数 据服 务接 口技术 要求 . 13 9.3 管 理接 口技术 要求 . 13 附录( 资料 性) 金融 大数 据平台 应用 场景 . 14 参考文 献 . 16 JR/T 0237 2021 II 前 言 本 文件 按照GB/T 1.1 2020 标 准化 工作 导则 第1 部 分: 标 准化 文件 的结 构和 起草规 则 给出 的规 定 起草。 请注意 本文 件的 某些 内容 可能涉 及专 利。 本文 件的 发布机 构不 承担 识别 专利 的责任 。 本 文件 由中 国人 民银 行提 出。 本 文件 由全 国金 融标 准化 技术委 员会 (SAC/TC 180 )归口 。
4、本 文件 起草 单位 : 招商 银 行股份 有限 公司 、 中国 人 民银行 清算 总中 心 、 华 为 技术有 限公 司 、 中 国邮 政 储蓄银 行 股 份有 限公 司 、 北京国 家金 融标 准化 研究 院有限 责任 公司 。 本 文件 主要 起草 人: 俞吴 杰 、 杨 鹏、 陈 翔、 黄波、 王 鹏程、 张天 舟、 张 芮玲 、 王 庆刚、 孔昭 龙、 方 方、 那勇、 王嘉 琪、 张兰 兰、 王伟利 、白 阳、 符海 芳、 赵华、 蒋健 源 、 沈澍 、李 琪 。JR/T 0237 2021 1 金 融大数 据平台总 体技术 要求 1 范围 本文件 规定 了面 向 金 融业 的大数
5、 据平 台总 体技 术要 求的框 架结 构、 功能 技术 要求、 非功 能技 术 要 求 以及接 口技 术要 求。 本 文件 适用 于金融 大 数据 平台的 设计 、开 发和 应用 。 2 规范性 引用 文件 下列 文件 中的 内容 通过 文中的 规范 性引 用而 构成 本文件 必不 可少 的条 款。 其 中, 注 日期 的引 用文 件, 仅该日 期对 应的 版本 适用 于本文 件; 不注 日期 的引 用文件 , 其 最新 版本 (包 括所有 的修 改单 ) 适 用 于 本 文件。 JR/T 0236 2021 金融 大 数据 术语 ISO/IEC 20546:2019 信 息技术 大 数据
6、概 述和 术语 3 术语和 定义 JR/T 0236 2021 金融 大 数据 术语 界 定的 以及 下列术 语和 定义 适用 于本 文件。 3.1 大 数据 big data 海量 的数 据集 , 其数 据 在本质 上具 有体 量大 、 种 类多 、 变 化快 、 变数 多的 特征 , 需 要一 种易 扩展 的 技术来 有效 存储 、处 理、 管理和 分析 。 注:1. 大数据通常以多种不同 方式使用,例如,作为某种用于处理大数据海量数据集的易扩展技术的名称 。 2.GB/T 35295 2017 信息技 术 大数据 术语中2.1.1 对大数据的定义为“具有体量巨大、来源多样、生 成极快、且
7、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据” 。 3. 在某些非工程性研讨的场合 ,“大数据”一词的外延可能被扩大到所有的数据 。 来 源:JR/T 0236 2021 ,3.1 3.2 大数据 参考 体系 结构 big data reference architecture 一 种用 作工 具以 便于 对 数据内 在要 求、 设计 结构 和运行 进行 开放 性探 讨的 高层概 念模 型 。 注: 比较普遍认同的大数据参 考体系结构一般包含 :系统协调者、数据提供者、大数据应用提供者、大数据框架 提供者和数据消费者等5 个逻辑功能构件。 来源 :JR/T 0236 20
8、21 ,4.1 3.3 系统协 调者 system orchestrator 大 数 据参 考体 系结 构中 的一 种 逻辑 功能 构件 , 可 定义 所 需的 数据 应用 活动 并将 其 整合 到可 运行 的 垂直系 统中 。 注 :1. 系统协调者可以是人、 软件或这二者。 JR/T 0237 2021 2 2. 系统协调者一般包括 :业务 领导者、咨询师、数据科学家、信息体系结构设计师、软件体系结构设计师、安 全体系结构设计师、个人信息保护体系结构设计师和网络体系结构设计师 。 来源 :JR/T 0236 2021 ,4.2 3.4 数据提 供者 data provider 大 数据 参
9、考 体系 结构 中 的一种 逻辑 功能 构件 , 可 将新的 数据 或信 息引 入大 数据系 统 。 注: 数据提供者一般包括: 企业、 公共机构、 科学家、 调研 人员、 从事数据搜索的工程师、 网络应用软件、 网络运 营商和末端用户 。 来源 :JR/T 0236 2021 ,4.3 3.5 大数据 应用 提供 者 big data application provider 大数据 参考 体系 结构 中的 一种逻 辑功 能构 件, 可执 行数据 生命 周期 操作 , 以 满足系统 协 调者 定 义 的 需求以 及安 全和 隐私 保护 的需求 。 注: 大数据应用提供者一般包 括: 大数据应
10、用领域专家、 大数据平台领域专家和大数据咨询师。 来源 :JR/T 0236 2021 ,4.4 3.6 数据消 费者 data consumer 大 数 据 参考 体 系结 构 中的一 种 逻 辑功 能 构件 , 是 使用 大 数 据应 用 提供 者 所提供 的 应 用的 末 端用 户 或其他 系统 。 注: 数据消费者一般包括 :末 端用户、调研人员、应用和系统。 来源 :JR/T 0236 2021 ,4.6 3.7 分布式 文件 系统 distributed file system 多个结 构化 数据 集分 布在 一个或 多个 服务 器集 群的 各计算 节点 的文 件系 统 。 注:
11、此类系统中, 数据可能分 布在文件 或数据集层, 更为普遍的是在数据块层级分布, 同时支持集群中多个节点与 大型文件或数据集的不同部分交互 。 来源 :JR/T 0236 2021 ,6.12 3.8 非结构 化数 据 unstructured data 特征为 除了 记录 或文 件级 别外没 有任 何结 构的 数据 。 注: 总体而言,非结构化数据 不是由数据元素组成 。 示例: 自由文本是非结构化数 据的一个例子。 来源 :JR/T 0236 2021 ,3.30 3.9 工作流 workflow 指 具有 明确 起点 和终 点以 描述任 务的 活动 序列 。 注: 工作流是一类活动模型
12、, 且可能具有分支、决策点和事件 。 来源 :GB/T 32854 2020 ,3.1 JR/T 0237 2021 3 4 缩略语 下列 缩 略语 适用 于本 文件 。 API : 应用 程序 接口 (Application Program Interface ) AI :人 工智 能(Artificial Intelligence ) CEP : 复杂 事件 处理 (Complex Event Processing ) CPU : 中央 处理 器(Central Processing Unit ) DDL : 数据 库模 式定 义语 言 (Data Definition Language
13、) FTP : 文件 传输 协议 (File Transfer Protocol ) FTPS : 基于SSL 的文 件传 输 协议(File Transfer Protocol Over SSL ) HTML : 超文 本标 记语 言(Hyper Text Markup Language ) I/O : 输入/ 输出 (Input/Output ) JDBC :Java 数据 库连 接(Java Database Connectivity ) JAR : 一种 软件 包文 件格 式 (Java Archive ) JSON :JavaScript 对 象简 谱(JavaScript Obje
14、ct Notation ) LPA : 标签 传播 算法 (Label Propagation Algorithm ) MPI : 信息 传递 接口 (Message Passing Interface ) ODBC : 开放 数据 库互 连(Open Database Connectivity ) REST : 表述 性状 态传 递(Representational State Transfer ) RPC : 远程 过程 调用 (Remote Procedure Call ) SCP : 安全 复制 (Secure Copy ) SDK : 软件 开发 工具 包(Software Deve
15、lopment Kit ) SFTP : 安全 文件 传送 协议 (Secret File Transfer Protocol ) SQL : 结构 化查 询语 言(Structured Query Language ) SSL : 安全 套接 层协 议(Secure Sockets Layer ) UI :用 户界 面 (User Interface ) Web : 全球 广域 网(World Wide Web ) XML : 可扩 展标 记语 言(Extensible Markup Language ) 5 金融大 数据 信息 价值 链 从信息 价值 链的 角度 来看 , 金融 大数 据平
16、 台面向 金 融大数 据应 用提 供者 、 系 统协调 者及 大数 据 框 架 提供者 ,核心 活动 在于从 数据 提 供者 处 收集 、处理 、分析 金融活 动过 程中的 相关业 务数据 、用 户信 息 、 行为数 据等 ,并 结合 金融 业务特 征支 撑 金 融机 构的 各项活 动和 服务 。 金 融大 数据信 息价 值链 见图1 。 JR/T 0237 2021 4 图1 金 融大 数据 信息 价值 链 数据提 供者 为金 融大 数据 平台提 供数 据或 信息 ,包 括数据 源提 供者 、数 据流 通平台 提供 者和 数据 API提 供者 。 系统协 调者 在金 融领 域规 范和协 调各
17、 类所 需的 数据 应用活 动, 包括 系统 的配 置管理 、 作 业调 度、 资源调 度、 运行 监控 等活 动。 金融大 数据 应用 提供 者 满 足金融 领域 大数 据服务 需 求,包 括收 集、 预处 理、 分析、 可视 化和 访问 等活动 。 大数据 框架 提供 者 为 金融 大数据 应用 提供 者在 创建 具体应 用 时 提供 资源 和服 务。 数据消 费者 是金 融大 数据 应用的 最终 使用 者或 其他 系统。 6 金融 大 数据 平台 总体 目标 金融 大 数据 平台 的总体 目标 是帮 助金 融机构 更 高效 、 更快 速 地 完成 金融 大数 据应用 的开 发、 部 署
18、和 管理, 从以 交易 为中 心转 向 以数据 为中 心, 以应 对更 多 维、 更 大量 、 更 实时 的数 据 和互联 网业 务的 挑战 。 金融机 构以 防范 系统 性风 险为底 线 , 对数据 安全 和 业务 连 续性 保障 的技 术要求 通常 高于 其他 行业 。 7 金融大 数据 平台 功能 技术 要求 7.1 概述 金融大 数据 平台 是企 业级 、 分布 式、 开 放、 统 一的 大数据 平台 , 应 包括 数据 接入、 数据 存储、 数 据 处理 、 数 据分 析及 数据 服务 相关 组件 。 从功 能的 必 要性及 重要 性角 度看 , 金 融大数 据平 台具 体功 能技
19、术 要 求 可以 划 分为 基 本要 求 和 增 强要 求 。增 强 要求 是从 技 术的 发 展趋 势 和金 融用 户 的前 瞻 性需 求 入手提 出的。 数据接 入的 基本 要求 应包 括作业 调度 、 数 据传 输、 消 息队列 、 批 量采 集, 增强 要 求 宜包 括实 时采 集; 数据存 储 的 基本 要求 应包 括分布 式关 系数 据库 、 分 布式存 储系 统 ( 文件、 对 象、 块) 等, 增 强要 求 宜 包 括分布 式列 数据 库、 分布 式图数 据库 ; 数 据处 理 的 基本要 求 应 包括 批处 理、 流处理 、 图 计算 , 增 强 要 求 宜包括 批流 融合
20、计算 、 内 存计算 ; 数 据分 析 的 基本 要求 应 包括 模型 库、 数据 处理引 擎 等 , 增 强 要 求 宜 包 括数据 可视化 ;数 据 服务 的 基本 要 求应 包括 风险管 理、 用 户画像 、营销 管理 、客户 服务和 经营 分析 等 。 金融大 数据 平台 技术 架构 见图2 。 JR/T 0237 2021 5 数据处理 数据服务 数据分析 数 据 源 应 用 数据提供者 金融大数据平台 数据使用者 / / 平台 运维 数据接入 数据存储 / / 图2 金 融大 数据 平台 技术 架构 金融大 数据平 台由 数据接 入、数 据存储 、数 据处理 、数据 分析、 数据
21、服务和 平台运维 等部 分组 成 , 主要内 容如 下 : a) 数据接 入 提 供结 构化 数据 、非结 构化 数据 或半 结构 化数据 的采 集、 数据 的导 入导出 以及 数据 流 的定义 等功 能 , 支 持 多系 统集成 ,支 持多 协议 接入 , 如支持RESTful 、RPC 、 异步消 息接 入。 结 构化数 据包 括 数 据库 文件 以及结 构化 文本 文件 等。 非结构 化数 据包 括图片 、 音频 、 视频 、文 档 及应用 数据 等 。 半结 构化 数据包 括XML 、 表格 、JSON 、HTML 、电 子邮 件 等 。 注:REST 指的是一组架构约束 条件和原则
22、,满足这些约束条件和原则的应用程序或设计 称为RESTful 。 b) 数据存 储 提 供大 数据 的分 布式存 储管 理, 涵盖 多种 存储方 式和 文件 系统 。 c) 数据处 理 支 持结 构化 、 半 结构化 及非 结构 化数 据 , 提供丰 富的API 接口 和SDK 开发包 , 支持 分布 式 计算技术 、 流处 理技 术 、 内存计 算技 术 , 实现 稳定 、强大 的数 据处 理能 力 。 d) 数 据分析 采 用数据挖 掘、机 器学习等 技术,支 持多个 数据处理 引擎 ,具 备 数据 可视化、 多种算 法、 建 模分 析 等 深度 挖掘 分析能 力 。 e) 数据服务 提
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- JR 02372021 金融大数据平台总体技术要求 0237 2021 金融 数据 平台 总体 技术 要求
