JR T 0221-2021 人工智能算法金融应用评价规范.pdf

《JR T 0221-2021 人工智能算法金融应用评价规范.pdf》由会员分享，可在线阅读，更多相关《JR T 0221-2021 人工智能算法金融应用评价规范.pdf（28页珍藏版）》请在麦多课文档分享上搜索。

1、 ICS 35.240.40 CCS A 11 中华人民共和国金融行业标准 JR/T 0221 2021 人工智能 算法 金融应用 评价 规范 Evaluation specification of artificial intelligence algorithm in financial application 2021 - 03 - 26 发布 2021 - 03 - 26 实施 中国人民银行 发布 JR JR/T 02212021 I 目 次 前言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 缩略语 . 3 5 总则 . 3 5.1 评价框架 .

2、 3 5.2 评价方法 . 4 6 安全性评价 . 4 6.1 目标函数 . 4 6.2 常见攻击防范 . 5 6.3 算法依赖库 . 9 6.4 算法可追溯性 . 9 6.5 算法内控 . 11 7 可解释性评价 . 12 7.1 可解释性评价维度 . 12 7.2 建模准备 . 12 7.3 建模过程 . 14 7.4 建模应用 . 17 8 精准性 评价 . 18 8.1 精准性评价维度 . 18 8.2 建模过程 . 18 8.3 建模应用 . 19 9 性能评价 . 20 9.1 性能评价维度 . 20 9.2 建模过程 . 20 9.3 建模应用 . 20 附录 （资料性）金融行业

3、 AI 精准性的相关指标定义 . 21 参考文献 . 24 JR/T 02212021 II 前 言 本文件按照 GB/T 1.1 2020标准化工作导则 第 1部分：标准化文件的结构和起草规则的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国人民银行提出。 本文件由全国金融标准化技术委员会（ SAC/TC 180）归口。 JR/T 02212021 1 人工智能 算法 金融应用评价规范 1 范围 本文件规定了人工智能算法在金融领域应用的基本要求、评价方法、判定准则。 本文件适用于开展人工智能算法金融应用的金融机构、算法提供商、 第三方安全

4、评估机构等 。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 JR/T 0171-2020 个人金融信息保护技术规范 JR/T 0199-2020 金融科技创新安全通用规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 深度学习 deep learning 通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据分布式特征表示的一种 学习方法。 3.2 部分依赖图 partial dependency plot； P

5、DP 一种以可视化形式展示 一个 或两个特征对机器学 习模型预测结果的边际效应 的方法。 3.3 个 体 条件期望 individual conditional expectation； ICE 用于显示对于每一个样本实例而言当改变某一个特征值时人工智能算法预测结果如何改变的一种 可视化方法。 3.4 全 局 代理 模型 global surrogate model 一 种通过训练全局样本 对黑盒算法 预测的可解释方法。 注： 通过解释代理模型 得出 有关黑盒 模型的 具有可解释意义的结论。 JR/T 02212021 2 3.5 代表性样本 prototype 能全面反映真实数据样本的一个数

6、据实例。 3.6 非代表性样本 criticism 不能很好地由代表性样本表示的数据实例。 3.7 有影响力的样本 influential instance 对模型参数或预测值影响程度最大的样本。 3.8 对抗样本攻击 adversarial attack 通过在正常样本上添加难以察觉的微小扰动误导人工智能算法的攻击方法。 3.9 物理对抗攻击 physical adversarial attack 通过物理手段在真实世界构建对抗样本攻击人工智能算法的方法。 3.10 回归算法 regression algorithm 研究因变量和自变量之间关系的预测性建模技术。 3.11 决策 树算法 de

7、cision tree algorithm 在已知各种情况发生概率的基础上，通过构成决策树来求取目标值的期望值不小于零的概率的一 种算法。 注： 常用的有 ID3、 C4.5和 C5.0等。 3.12 图算法 graph algorithm 由节点表示随机变量、边表示变量之间依赖关系的图结构算法。 3.13 集成学习算法 ensemble learning algorithm 通过构建并结合多个基学习器 完成学习任务的算法。 注： 一般分为 bagging、 boosting和 stacking等类别，代表性算法有随机森林、 GBDT、 XGBoost、 LightGBM等。 3.14 模型无

8、关可解释 model-agnostic method JR/T 02212021 3 将人工智能算法解释和模型分离，能够应用于任何模型并可实现模型灵活性、解释灵活性和表示方 式灵活性的一种方法。 4 缩略语 下列缩略语适用于本文件。 AI：人工智能（ Artificial Intelligence） AUC： ROC曲线下方面积（ Area under the Curve of ROC） C&W： Carlini和 Wagner攻击（ Carlini and Wagners Attack） ETL：数据抽取、转换、装载（ Extract-Transform-Load） FGSM： 快速梯度下降

9、法 （ Fast Gradient Sign Method） FPR： 假阳率（ False Positive Rate） GBDT： 梯度提升决策树 （ Gradient Boosting Decision Tree) IoU：交并比 (Intersection over Union) IV：信息量 (Information Value) JSMA： 基于雅可比矩阵的显着性图攻击 （ Jacobian-based Saliency Map Attack） mAP：平均 精准 率（ mean Average Precision） MAE： 平均绝对误差 （ mean absolute erro

10、r） MSE： 均方 误差 （ Mean Square Error） QPS：每秒查询率（ Queries-per-second） RMSE： 均方根误差 （ Root Mean Square Error） 2：决定系数（ R-Square） RSD：相对标准偏差（ Relative Standard Deviation） TPR： 真阳率（ True Positive Rate） TPS：每秒处理的事务数（ Transactions Per Second） XGBoost： 极端梯度提升 （ Extreme Gradient Boosting） 5 总则 5.1 评价框架 本文件从安全性、可

11、解释性、精准性和性能方面开展 AI算法评价，适用对象分为资金类场景和非资 金类场景。 AI算法 安全性 为算法在 金融 行业 应用 提供安全保障， 是 决定 AI算法是否可用 的 基础 ，只有 在 满足安 全性要求 的前提下才能在金融领域开展应用 。 AI算法安全性评价主要从目标函数安全性、算法攻击防范 能力、算法依赖库安全性、算法可追溯性、算法内控等方面提出基本要求、评价方法与 判定 准则等。 AI算法 可解释性是 判断算法是否适用的重要依据， 可解释性越高 算法内在逻辑、技术实现路径、决 策过程、预期目标越明晰，算法更易于被理解、匹配、应用和管理 。 AI算法 可解释性 评价从算法建模准

12、备、建模过程、建模应用三个阶段提出基本要求、评价方法与 判定 准则等。 JR/T 02212021 4 AI算法 精准性和 性能 是评价算法 应用效果及目 标预期 的主要 因素 ， 一般而言 精准性和 性能越高算 法应用效果越好 。 AI算法 精准性和 性能评价从算法建模过程、建模应用两个阶段提出基本要求、评价方 法与 判定 准则等。 AI算法评价内容框架见 下 图。 图 AI 算法 评价内容框架图 5.2 评价方法 评价方法及说明如下： a) 查阅材料：查阅审计报告、自查报告、外部评估报告、设计文档、开发文档、用户文档、管理 文档、产品检测报告等相关材料。 b) 查看系统：查看系统日志、配置

13、文件、参数设置、产品版本、网络配置等。 c) 访谈人员：与被测系统或产品有关人员进行交流、讨论等活动，获取相关证据，了解有关信 息。 d) 系统测试：利用专业工具，通过对目标系统的扫描、探测等操作，使其产生特定的响应等活动， 通过分析响应结果，获取证据以证明信息系统的基本要求、性能、安全性是否得以有效实施。 e) 攻击测试：利用专业攻击方 法 ，对 AI 算法进行攻击 ，分析 攻击 结果，获取证据以证明系统的 安全性是否得以有效实施。 f) 算法测试：基于业务样本数据，通过模型对目标变量进行预测，将预测出的结果和目标变量真 实值进行比对并计算相应的 AI算法评估指标。 g) 查看算法：查看代码

14、、样本数据、训练数据等。 6 安全性评价 6.1 目标函数 人工智能算法金融应用 目标函数评价内容见表 1。 JR/T 02212021 5 表 1 目标函数评价内容 序号 基本要求 评价方法 判定准则 备注 1 目标函数不应存在偏见歧 视 查阅材料 设计文档有目标函数的说明，目标函数设计上不 存在肤色、性别、国籍、年龄、健康等偏见歧视。 资金类场景、 非资金类场 景全部适用 2 算法表达能力应充分 1） 查阅材料 设计文档对算法表达能力进行明确要求，能够适 用于不同于训练阶段的全新使用情况。 2） 系统测试 经测试，系统中算法表达能力与设计文档一致。 3 目标函数运算成本应符合 实施要求 1

15、） 查阅材料 设计文档对目标函数运算成本进行了分析，提出 了明确要求。 2） 查看系统 1.系统中未采用某种低计算成本的替代函数。 2.目标函数的运算成本符合 JR/T 0199-2020的 相关要求。 6.2 常见攻击防范 6.2.1 窃取攻击防范 人工智能算法金融应用 窃取攻击防范评价内容见表 2。 表 2 窃取攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 应防止训练数据在传输、 存储环节被窃取或篡改 1） 查阅材料 管理文档对训练数据传输、存储环节制 定 了明确 的安全管理要求。 资金类场景 全部适用，非 资金类场景 适用第 1、 2、 3、 4 项要求 2） 查看系统

16、 系统在数据传输、存储方面采取的安全措施与管 理文档要求一致。 2 应防止模型在传输、存储 环节被窃取或篡改 1） 查阅材料 管理文档中有对模型传输和存储环节的安全管 理说明。 2） 系统测试 系统中算法模型在传输和存储环节不会被窃取 或篡改。 3 应保障训练数据隐私，避 免用户敏感信息泄露 1） 查阅材料 设计文档制定了安全防护措施，如差分隐私加噪 等。 2） 系统测试 1.系统采取与设计文档一致的安全防护措施，保 障训练数据安全，防止用户敏感信息泄露。 2.训练数据的安全与隐私性符合 JR/T 0171 2020的相关要求 。 4 应保障 AI算法训练步骤安 全 1） 查阅材料 规划方案和

17、实施方案中制定了 AI算法训练过程 安全保障措施。 2） 查看系统 系统具有相应 AI算法训练过程安全防护的配置， 并有审计日志，保障训练步骤安全，防范训练过 程被窃取，避免训练信息泄露。 JR/T 02212021 6 序号 基本要求 评价方法 判定准则 备注 5 AI算法应具有辨识度 1） 查阅材料 规划方案和实施方案中制定技术保障措施，保证 具有对恶意模仿算法的辨识度，如算法模型添加 水印等方法。 资金类场景 全部适用，非 资金类场景 适用第 1、 2、 3、 4项要求 2） 系统测试 系统能区分 AI算法与恶意模仿的攻击算法。 6.2.2 药饵攻击防范 人工智能算法金融应用 药饵攻击防

18、范 评价 内容见表 3。 表 3 药饵攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 训练数据来源应可信、可 靠 查阅材料 设计文档中有对训练数据来源的说明，明确训练 数据不包含标签错误、记录造假等恶意伪造的药 饵数据。 资金类场景、 非资金类场 景全部适用 2 应防止数据存储、使用等 环节被投放药饵数据 1） 查阅材料 设计文档或管理文档中有对训练数据存储、使用 等环节的安全管理说明，防范训练数据被攻击或 被投放药饵数据。 2） 查看系统 系统中数据存储、使用等环节的安全管理与设计 文档或管理文档的要求一致。 3 训练数据分布应合理 1） 查阅材料 设计文档或管理文档明确训练

19、数据分布的具体 说明，防止药饵攻击数据点混入，造成模型倾斜 等错误状况。 2） 查看系统 系统中训练数据分布与设计文档或管理文档的 要求一致。 4 宜具备检测数据集并过滤 噪声和异常值的能力 1） 查阅材料 规划方案或实施方案中明确采用回归分析等方 法检测数据集，过滤其中的噪声和异常值。 2） 系统测试 系统采取了与规划方案或实施方案一致的方法， 能有效检测并过滤数据集中的噪声和异常值。 5 宜具备通过综合多个独立 子模型训练结果的方式增 强 AI算法抗药饵攻击的能 力 1） 查阅材料 规划方案或实施方案中采用集成分析等方式来 提升 AI算法抗药饵攻击能力。 2） 查看系统 系统中有多个子模型

20、，将多个子模型的综合结果 作为最终结果。 6.2.3 闪避攻击防范 6.2.3.1 对抗样本攻击防范 人工智能算法金融应用 对抗 样本 攻击防范评价内容见表 4。 JR/T 02212021 7 表 4 对抗样本攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 算法应有效防御对抗样本 攻击 攻击测试 开发文档或设计文档中根据业务应用场景需求 制定了对抗样板攻击最低容忍成功率，经专家评 估满足业务需求。 攻击测试时， 基于 FGSM、 迷惑深度学习分类模型 （ DeepFool）、 C&W、 JSMA等算法生成对抗样本进 行攻击测试， |测试攻击的最大成功率 -设计的最 低容忍成功

21、率偏差 | 0.1。 资金类场景 全部适用，非 资金类场景 适用第 1项要 求 2 应将对抗样本加入训练数 据集 1） 查阅材料 设计文档制定了将对抗样本加入训练数据集的 设计要求。 2） 查看系统 系统中记录了添加到训练集的对抗样本来源、数 量等信息。 6.2.3.2 物理对抗攻击防范 人工智能算法金融应用 物理对抗攻击防范评价内容见表 5。 表 5 物理对抗攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 算法应有效防范物理对抗 攻击 攻击测试 AI算法性能最佳的条件下，当测试数据集中加 入 10%的物理对抗样本进行攻击时，资金类场 景： |攻击后算法精准性 -原算法精准性

22、| 0.05，非资金类场景： |攻击后算法精准性 -原 算法精准性 | 0.07。 资金类场景 全部适用 ， 非 资金类场景 适用第 1项要 求 2 应在算法使用阶段添加对 抗样本检测模块 1） 查阅材料 设计文档制定了算法使用阶段添加对抗样本检 测模块的方案。 2） 系统测试 算法包含对抗样本检测模块，且与设计方案一 致。 6.2.4 模仿攻击防范 人工智能算法金融应用 模仿攻击防范 评价内容见表 6。 表 6 模仿攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 算法应有效防范模仿攻击 攻击测试 AI算法性能最佳的条件下，当测试数据集中加 入 10%的模仿样本进行攻击时，资金

23、类场景： | 攻击后算法精准性 -原算法精准性 | 0.07，非 资金类场景： |攻击后算法精准性 -原算法精准 性 | 0.09。 JR/T 02212021 8 6.2.5 逆向攻击防范 人工智能算法金融应用 逆向攻击防范 评价内容见表 7。 表 7 逆向攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 应防止信息过度反馈 1） 查阅材料 设计文档制定了反馈信息的要求，在满足用户 需求的前提下，遵循最小够用的原则，避免反 馈信息过多，造成逆向攻击。 资金类场景 全部适用，非 资金类场景 适用第 1、 2项 要求 2） 系统测试 系统中 AI算法对反馈信息的保护和限制与设计 文

24、档一致。 2 应限制探测频率 1） 查阅材料 设计文档对 AI算法探测频率进行要求和设计， 避免恶意探测获取 AI算法信息，逆向构建恶意 模型。 2） 系统测试 系统中 AI算法对探测频率的限制和要求与设计 文档一致。 3 应增强对逆向攻击的防御 能力 查阅材料 实施方案中采用隐私聚合教师模型等方式增强 AI算法防御能力，有效防范逆向攻击。 6.2.6 供应链攻击防范 人工智能算法金融应用 供应链攻击 防范 评价内容见表 8。 表 8 供应链攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 应对开源模型、第三方模 型进行安全性风险评价 查阅材料 设计文档中对 AI算法使用的开源模

25、型、第三方 模型是否存在安全风险进行评价，并给出了评 价结果。 资金类场景、 非资金类场 景全部适用 2 在开源模型、第三方模型 基础上做迁移调优时，应 进行安全性加固 1） 查阅材料 设计文档有在开源模型、第三方模型基础上做 迁移调优时进行安全加固的方法介绍。 2） 查看系统 系统中对 AI算法安全性加固的方法与设计文档 一致。 3 基于开源模型、第三方模 型做出的模型，应进行安 全性风险评价 查阅材料 设计文档中有对基于开源模型、第三方模型做 出模型的安全性风险评价，并给出了评价结果。 6.2.7 后门攻击防范 人工智能算法金融应用 后门攻击 防范 评价内容见表 9。 JR/T 02212

26、021 9 表 9 后门 攻击防范评价内容 序号 基本要求 评价方法 判定准则 备注 1 算法应用时，应对输入预 处理，过滤掉能触发后门 攻击的输入 1） 查阅材料 规划方案或实施方案中有输入预处理相关说 明，明确过滤能触发后门攻击的输入。 资金类场景、非 资金类场景全 部适用，满足任 意一项要求即 可 2） 查看系统 系统中 AI算法应用有预处理模块，能对输入 进行预处理。 2 针对深度学习算法应具备 采用模型剪枝技术的能力 查阅材料 规划方案或实施方案中明确采用模型剪枝技 术，能适当剪除原模型神经元，减小后门攻击 发生的可能性。 6.3 算法依赖库 人工智能算法金融应用 依赖库 评价内容见

27、表 10。 表 10 算法依赖库评价内容 序号 基本要求 评价方法 判定准则 备注 1 应对开源学习框架以及依 赖库的安全性进行评估 查阅材料 设计文档有对 AI算法所使用的开源学习框架 以及依赖库安全性评估的说明。 资金类场景、 非资金类场景 全部适用 2 应定期开展算法所用开源 框架以及依赖库的内部审 计 1） 查阅材料 管理文档中有开展算法所用开源框架以及依 赖库内部审计的相关说明。 2） 查看系统 系统中记录了算法所用开源框架以及依赖库 的内部审计结果。 6.4 算法可追溯性 6.4.1 训练数据可追溯性 人工智能算法金融应用 训练数据可追溯性 评价内容见表 11。 表 11 算法训练

28、数据可追溯性评价内容 序号 基本要求 评价方法 判定准则 备注 1 应记录训练数据获取时间 1） 查阅材料 设计文档中有要求记录训练数据获取时间的相 关内容。 资金类场景 全部适用， 非资金类场 景适用第 1、 2、 3、 4、 5 项要求 2） 查看系统 算法训练系统对训练数据获取时间进行了记录。 2 应记录训练数据来源 1） 查阅材料 设计文档中有要求记录训练数据来源的相关内 容。 2） 查看系统 算法训练系统对训练数据来源进行了记录。 3 应记录训练数据量 1） 查阅材料 设计文档中有要求记录训练数据量的相关内容。 2） 查看系统 算法训练系统对训练数据量进行了记录。 JR/T 0221

29、2021 10 序号 基本要求 评价方法 判定准则 备注 4 应记录数据存储介质的标 识 1） 查阅材料 设计文档中有要求记录数据存储介质标识的相 关内容。 资金类场景 全部适用， 非资金类场 景适用第 1、 2、 3、 4、 5项 要求 2） 查看系统 算法训练系统对训练数据存储介质的标识进行 了记录。 5 训练数据应有完整签名或 校验码 1） 查阅材料 设计文档中有训练数据采用完整签名或校验码 的说明。 2） 查看系统 训练数据采用的完整签名或校验码与设计文档 一致。 6 应记录采样方法 1） 查阅材料 1.开发文档中有数据采样方法的记录。 2.设计文档中有要求记录数据采样方法的相关 内容

30、。 2） 查看系统 算法训练系统有训练数据采样方法的记录。 6.4.2 建模过程可追溯性 人工智能算法金融应用 建模过程可追溯性 评价内容见表 12。 表 12 算法建模过程可追溯性评价内容 序号 基本要求 评价方法 判定准则 备注 1 应保存建模过程中的 建模脚本 1） 查阅材料 设计文档中有要求保存建模过程中建模脚本的相 关内容。 资金类场景、非 资金类场景全 部适用 2） 查看系统 算法训练系统中保存了建模过程中的建模脚本。 2 应记录建模过程中的 软硬件环境 查阅材料 开发文档记录了建模过程中使用的软硬件环境。 3 应记录建模过程中的 操作者 查阅材料 开发文档记录了建模过程的操作者。

31、 4 应记录建模的起止时 间戳和迭代次数 1） 查阅材料 设计文档中有要求记录建模的起止时间戳和迭代 次数的相关内容。 2） 查看系统 算法训练系统记录了建模的起止时间戳和迭代次 数。 5 应保存建模过程中参 数迭代的相关记录 1） 查阅材料 设计文档中有要求保存建模过程中参数迭代记录 的相关内容。 2） 查看系统 算法训练系统保存了建模过程中参数迭代的相关 记录。 6.4.3 算法部署可追溯性 人工智能算法金融应用 部署 可追溯性 评价内容见表 13。 JR/T 02212021 11 表 13 算法部署可追溯性评价内容 序号 基本要求 评价方法 判定准则 备注 1 应记录 AI算法部署的

32、操作者 1） 查阅材料 设计文档中有要求记录 AI算法部署操作者的相关 内容。 资金类场景、 非资金类场景 全部适用 2） 查看系统 系统记录了 AI算法部署的操作者。 2 应标识部署时间及相 关结果 1） 查阅材料 设计文档中有要求标识部署时间及结果的相关内 容。 2） 查看系统 系统标识了部署时间及相关结果。 3 应保存 AI算法部署过 程的相关脚本 1） 查阅材料 设计文档中有对保存 AI算法模型部署相关脚本的 说明。 2） 查看系统 系统保存了 AI算法部署过程的相关脚本。 4 应记录部署的软硬件 环境配置信息 查阅材料 开发文档中记录了部署的软硬件环境配置信息。 6.5 算法内控 6

33、.5.1 技术管理 人工智能算法金融应用 技术管理评价内容见表 14。 表 14 技术管理评价内容 序号 基本要求 评价方法 判定准则 备注 1 应建立算法上线应用 前的内部评审机制 1） 查阅材料 管理文档中明确要求建立包含评审委员会的评审 机制，委员会负责算法评审工作，对算法进行评审， 确定算法满足要求后才可上线应用。 资金类场景全 部适用，非资 金类场景适用 第 1、 2、 3 项 要求 2） 访谈人员 具备实现内部评审所需的资质与能力。 2 应建立算法日常监测 体系 1） 查阅材料 管理文档中有监测体系的相关说明，监测系统来监 测上线算法运行状态，及时反馈算法缺陷。 2） 查看系统 系

34、统已建立监测体系并与管理文档一致。 3 应建立算法退出处置 机制 查阅材料 管理文档中有明确算法退出处置机制的相关说明， 对无法满足需求的算法应在保障安全的前提下停 止使用，并及时采取相应措施消除算法退出带来的 不利影响。 4 应全面记录算法开发 至退出的全过程 查阅材料 管理文档中有记录算法开发至退出全过程的相关 说明。 6.5.2 风险控制 人工智能算法金融应用 风险控制评价内容见表 15。 JR/T 02212021 12 表 15 风险控制评价内容 序号 基本要求 评价方法 判定准则 备注 1 应具备 AI算法突发情 况应急处理机制 1） 查阅材料 管理文档有处理 AI算法突发错误状况

35、的说明。 资金类场景全 部适用，非资金 类场景适用第 1、 2、 3项要求 2） 查看系统 统预留干预措施来处理 AI算法突发的错误状况。 3） 访谈人员 管理员在使用干预功能前需要进行身份验证。 2 应向用户充分提示 AI 算法的固有缺陷和使 用风险 1） 查阅材料 管理文档有对 AI算法的固有缺陷和使用风险的说 明。 2） 查看系统 系统或应用已向用户提示 AI算法的固有缺陷和使 用风险。 3 应建立风险赔偿机制 查阅材料 管理文档中有建立风险赔偿机制的相关说明，明确 因违法违规或者管理不当等造成用户损失，依法承 担损害赔偿责任。 4 应具备 AI算法道德风 险防范机制 查阅材料 设计文档

36、中有 AI算法道德风险防范机制的相关说 明。 7 可解释性评价 7.1 可解释性评价维度 AI算法 可解释性 评价从算法建模准备、建模过程、建模应用提出基本要求、评价方法与 判定 准则等。 在建模准备阶段不需要对深度学习、集成学习算法进行要求。 在建模过程阶段的模型无关可解释、基于样本可解释方面，不需要对回归算法、 决策 树算法、图 算法、其他统计学算法进行要求。 7.2 建模准备 7.2.1 特征定义可解释 人工智能算法金融应用 特征定义可解释评价内容见表 16。 表 16 特征定义可解释评价内容 序号 基本要求 评价方法 判定准则 备注 1 特征定义应满足相 关业务逻辑和规则 查阅材料 设

37、计文档有特征定义相关描述，能满足相关业务逻 辑和规则。 资金类场景全 部适用，非资金 类场景适用第 1、 2 项要求 2 特征定义应在系统 中有明确记录 查看系统 系统中有特征定义明确记录。 3 特征定义应有可查、 详细的 ETL指标加工 过程的记录 查看算法 代码中有可查、详细的特征定义 ETL 加工过程的 记录。 7.2.2 特征分布可解释 JR/T 02212021 13 人工智能算法金融应用 特征 分布 可解释评价内容见表 17。 表 17 特征分布可解释评价内容 序号 基本要求 评价方法 判定准则 备注 1 应符合日常生活场景 和业务规则 查阅材料 设计文档中特征分布需符合日常生活场

38、景和业 务规则。 资金类场景全 部适用，非资金 类场景适用第 1、 2 项要求 2 应确保特征分布合理， 并具备对缺失值、异常 值检验的能力 1） 查阅材料 设计文档中有对缺失值、异常值检验的相关内 容。 2） 查看系统 系统中特征分布正常，同时能对缺失值、异常值 等进行检验，与设计文档一致。 3 应能展示特征的相关 统计指标 查看系统 系统中能展示特征的平均值、最大值、最小值、 中位数、众数、样本数等指标。 7.2.3 特征衍生可解释 人工智能算法金融应用 特征衍生可解释评价内容见表 18。 表 18 特征衍生可解释评价内容 序号 基本要求 评价方法 判定准则 备注 1 特征衍生应合理 查阅

39、材料 设计文档中有特征衍生的相关说明。其中，对于 资金类场景，只允许离散的特征交叉，不允许复 杂、毫无业务意义的特征衍生。 资金类场景全 部适用、非资金 类场景适用第 1、 2 条要求 2 基于业务的特征衍生， 应在系统中有明确记 录 查看系统 系统中对于业务类特征衍生有明确记录，并能查 询详细的 ETL 特征衍生加工过程。 3 基于算法的特征衍生， 应在系统中明确记录 和展示 查看算法 代码中对于通过算法做特征衍生有明确记录，并 能展示算法特征衍生过程和逻辑。 7.2.4 特征选择可解释 人工智能算法金融应用 特征选择可解释评价内容见表 19。 表 19 特征选择可解释评价内容 序号 基本要

40、求 评价方法 判定准则 备注 1 特征选择过程应 有一定的量化统 计指标作为决策 依据 查看系统 系统中特征选择的过程有一定的量化统计指标作为决 策依据。至少根据 IV 值、集成算法 GBDT、 XGBoost 中 的特征重要性方法、变量相关性、变量 t 显著性检验 指标中一项指标进行特征选择。 资金类场景全 部适用、非资金 类场景适用第 1、 2 项要求 2 特征选择过程不 应有歧视性 查阅材料 设计文档中对于特征选择的过程，不能够有明显的歧 视性。 JR/T 02212021 14 序号 基本要求 评价方法 判定准则 备注 3 特征选择的业务 逻辑和算法依据 应在系统中明确 记录 1） 访

41、谈人员 访谈人员能说明特征选择的依据和业务逻辑及使用算 法进行特征重要性选择的具体操作过程。 资金类场景全 部适用、非资 金类场景适用 第 1、 2 项要求 2） 查看系统 系统中有特征选择的业务逻辑和算法依据的记录。 7.3 建模过程 7.3.1 算法可解释 7.3.1.1 回归算法 回归算法可解释评价内容见表 20。 表 20 回归算法可解释评价内容 序号 基本要求 评价方法 判定准则 备注 1 应通过统计指标对算法进 行可解释性说明 查看系统 系统通过统计指标对算法进行可解释性说 明，包括但不限于线性回归方程的回归系 数、 t 检验值、 F 检验值。 资金类场景全 部适用，非资金 类场景适用第 1 项要求 2 应对算法整体进行可解释 性说明 查看系统 系统提供算法整体的可解释性说明，包括但 不限于 2、 MSE、 RMSE。 7.3.1.2 决策 树算法 决策 树算法可解释评价内容见表 21。 表 21 决策 树算法可解释评价内容 序号 基本要求 评价方法 判定准则 备注 1 应通过可视化方式对算法 进行可解释性说明 查看