1、 ICS 35.080 CCS L 77 DB52 贵州省地方标准 DB52/T 16202021 面向大数据应用的就绪可用软件产品质量 要求和测试细则 Requirements for quality of ready to use software product big data application oriented and instructions for testing 2021 - 08 - 18 发布 2021 - 12 - 01 实施 贵州省市场监督管理局 发布 DB52/T 16202021 I 目 次 前 言 . . II 1 范围 . . 1 2 规范性引 用文件 .
2、 . 1 3 术语和定义 . . 1 4 缩略语 . . 3 5 符合性 . . 3 6 软件质量要求 . . 3 7 数据要求 . . 8 8 测试环境 . . 9 9 测试文档 集要求 . . 9 10 符合性 评价细则 . . 12 DB52/T 16202021 II 前 言 本文件按照GB/T 1.1-2020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由贵州省机械电子产品质量检验检测院提出。 本文件由贵州省大数据发展管理局归口。 本文件起草单位：贵州省机械电子产品质量检验检测院
3、、中电科大数据研究院有限公司（提升政府 治理能力大数据应用技术国家工程实验室）、重庆市质量和标准化研究院、中再云图技术有限公司。 本文件主要起草人：刘彦嘉、宿睿智、张婧慧、陈震宇、曾棋、昌攀、唐昶、薛强、邵建平、张洋、 曹扬、陆莹、姚茂峰、陈驰、雷伟、杨品章。 DB52/T 16202021 1 面向大数据应用的就绪可用软件产品质量要求和测试细则 1 范围 本文件规定了面向大数据应用的就绪可用软件产品的术语和定义、缩略语、符合性、软件质量要求、 数据要求、测试环境、测试文档集要求、符合性评价细则。 本文件适用于面向大数据应用的就绪可用软件产品的质量要求和测试。 2 规范性引用文件 下列文件中的
4、内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 20271-2006 信息安全技术 信息系统通用安全技术要求 GB/T 25000.51-2016 系统与软件工程 系统与软件质量要求和评价（SQuaRE） 第51部分：就绪可 用软件产品（RUSP）的质量要求和测试细则 GB/T 36344-2018 信息技术 数据质量评价指标 3 术语和定义 GB/T 25000.51-2016界定的以及下列术语和定义适用于本文件。 3.1 需方 acquirer 从供方
5、获取或采购产品或服务的利益相关方。 需方可能是以下之一：买主、顾客、拥有者、采购者。 来源:ISO/IEC 12207:2008 3.2 异常 anomaly 与基于需求规格说明、设计文档和标准等的期望值的偏离或与某个人的感知或经验的任何条件的偏 离。 来源：IEEE std 1044-2009 3.3 应用管理职能 applicatio n administration function 由用户履行的职能，包括安装、配置、备份、维护（打补丁和升级）、卸载等。 DB52/T 16202021 2 3.4 符合性评价 conformity evaluation 对产品、过程或服务达到规定要求的程
6、度所进行的系统性考核。 来源：ISO/IEC G UIDE 2：2004 3.5 符合性评价报告 conformity e valuation report 说明对RUSP实施评价的行为和结果的文档。 3.6 面向大数据应用的就绪可用软件产品 ready to u se software product big data application oriented 无论是否付费，任何用户可以不经历开发活动就能获得的基于大数据相关应用的软件产品。 3.7 就绪可用软件产品 ready to use software product 无论是否付费,任何用户可以不经历开发活动就能获得的软件产品。 3.
7、8 最终用户 end user 最终受益于RUSP功能的个人。 注：最终用户可以是软件产品的正式操作员;或是临时用户,例如公众中的一员。 来源：GB/T 25000.12010，4.14 3.9 故障 fault 计算机程序中不正确的步骤、过程或数据定义。 来源：IEEE std 610.121998 3.10 测试用例 test case 为某个特定目标(例如,为演练具体的程序路径或验证对特定需求的依从性)而开发的输入、执行条 件以及预期结果的集合。 来源：IEEE std 610.121998 DB52/T 16202021 3 3.11 测试文档集 test documentation
8、测试活动特有的文档汇集。 来源：IEEE std 610.121998 4 缩略语 下列缩略语适用于本文件。 RUSP：就绪可用软件产品（Ready to Use Software Product） RUSPBDAO：面向大数据应用的就绪可用软件产品（Ready to use software product Big dat a application oriented） 5 符合性 RUSPBDAO应符合以下条件： a) 应符合第 6 章和第 7 章中规定的质量属性； b) 应符合第 8 章要求的测试文档集进行测试； c) 测试期间发现的异常，可在产品发布前消除； d) 若该异常违背产品广告
9、宣传的性能，且不能消除，则应取消此种性能声称； e) 如供方已考虑了该异常的性质和对潜在需方的影响，并将有关异常的文档保存以备日后改进， 可认为该异常是可接受的。 6 软件质量要求 6.1 功能性 6.1.1 测试项 功能性测试应对照大数据就绪可用软件产品设计说明中的功能点，逐项对其进行测试用例设计，测 试用例设计应满足以下几个方面： a) 每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所覆盖； b) 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值； c) 逐项测试大数据就绪可用软件产品设计说明规定的功能特性； d) 测试软件产品配置项之间及软件配置项与
10、硬件之间的接口； e) 测试软件产品输出及其格式。 6.1.2 功能完备性 功能集对指定的任务、用户目标、数据质量，应覆盖功能用户的需求。 注1：功能可以在需求规格说明、设计规格说明、用户手册中进行指定。 注2：当软件产品无法实现指定的功能时，即检测到缺少的功能。 注3：功能包括对数据质量的要求。 DB52/T 16202021 4 6.1.3 功能正确性 在特定的使用条件下，应提供具有所需精度的正确结果。 注1： 不正确的功能是指功能无法给出达到特定预期目标的合理、可接受的结果。 注2： 开发方或维护方可能通过评审或测试检查单个功能，并决定功能能否为需求规格说明中定义的特定的目标提 供正确的
11、结果。在这种情况下，正确性的程度是由每个功能决定的。 6.1.4 功能适合性 在指定条件下使用时，应促使指定的任务和目标实现。 6.1.5 依从性 产品应遵循与功能性相关的标准、约定或法规以及类似规定。 6.1.6 测试过程 下列测试过程适用于RUSPBDAO的功能性测试： a) 根据需求规格说明书、概要设计等相关软件设计说明书，分析并拆分软件产品功能点； b) 根据拆分的功能点，采用“黑盒测试”方法逐一设计测试用例，测试用例应覆盖所有功能点， 覆盖率应达到 100%； c) 根据软件产品相关设计说明，编制每条测试用例的执行步骤、测试结果； d) 执行每条测试用例； e) 检验执行结果是否满足
12、测试用例预期结果； f) 根据执行结果填写执行记录和缺陷报告。 6.2 可靠性 6.2.1 成熟性 软件或组件在正常运行时应满足可靠性要求。 注： 测试指标可包括故障修复率、平均失效间隔时间、周期失效率、执行系统或软件能力、运行场景或功能与预期 系统或软件能力、运行场景或功能的比例等。 6.2.2 容错性 当存在硬件或软件故障时，软件或组件的运行应符合预期。测试参数可包括避免失效率、组件的冗 余度、平均故障通告时间等。 注： 内部或外部容错性测度与发生运行故障或违反规定接口时，软件产品维持规定性能水平的能力有关。 6.2.3 易恢复性 发生中断或失效时，软件能够恢复直接受影响的数据并重建期望的
13、系统状态。 注： 测试指标可包括软件从失效中恢复需要的时间，以及定期备份数据项的比例。 6.2.4 测试过程 下列测试过程适用于可靠性： a) 软件产品操作过程中出现误操作，包括填写表单超出限制范围，违反业务逻辑等； b) 记录检测过程中软件产品出现的故障及故障纠正数量； c) 当出现宕机及服务停止时， 记录系统恢复运行的时长， 恢复后是否能正常运行， 数据是否丢失； DB52/T 16202021 5 d) 在满足最大并发数量且在选定好的测试场景下，持续对服务端进行业务请求，查看服务端运行 情况； e) 软件产品在多台终端上，通过自动化测试手段持续运行，查看其运行情况。 6.3 易用性 在指
14、定使用周境中，软件在有效性、效率和满意度特性方面，为了达到所指定的目标，应可被特定 用户使用。 注： 易用性既可以从它的子特性角度当作产品质量特性来进行指定或测量，也可以直接通过测度（使用质量的子集） 来进行指定或测量。 6.3.1 可辨识性 应确保用户能够辨识软件是否适合其要求。 6.3.2 易学性 在指定使用周境中，软件在有效性、效率、抗风险和满意度特性方面，为了学习使用该软件这一指 定目标，应可为指定用户使用。 注：测试指标可包括用户指导完整性、输入字段的默认值设置、差错信息的易理解性、用户界面的自解释性等。 6.3.3 易操作性 软件应具有易于操作和控制的属性。 注：测试指标可包括操作
15、的一致性、消息的正确性、功能的易定制性、用户界面的易定制性、监视能力、撤销操作 能力、消息分类的易理解性、外观的一致性、输入设备的支持性等。 6.3.4 易访问性 在指定的使用周境中，为了达到指定的目标，软件应被具有最广泛的特征和能力的个体所使用。 6.3.5 测试过程 下列测试过程适用于易用性测试： a) 查看用户手册内容，操作软件产品过程中查看页面布局，查看输入输出项的易理解性； b) 查看用户手册、培训手册、系统文档，查看文档能否帮助用户学习操作； c) 检测过程对表单输入边界值外的数据，查看软件产品所有提示语及页面风格一致性，是否能使 用键盘快捷键； d) 检测过程中查看软件产品页面所
16、有的元素是否美观，具备吸引性。 6.4 性能效率 6.4.1 测试项 RUSPBDAO运行一段时间内，应满足需求设计说明规定的测试场景、服务器资源、并发用户数量的同 时，应测试其所能承受压力的强度，包括但不限于： a) 响应时间：服务端响应事务的平均时长； b) 每秒处理事务数：服务端每秒处理事务的数量； c) 事务通过率：服务端处理事务的成功率； DB52/T 16202021 6 d) CPU 占用率：服务端在处理事务时，服务器 CPU 占用情况； e) 内存占用率：服务端在处理事务时，服务器内存占用情况； f) 硬盘 I/O 读写：服务端在处理事务时，服务器硬盘读写情况。 6.4.2 时
17、间特性 软件时间特性应满足以下几方面要求： a) 软件执行其功能时，其响应时间、处理时间及吞吐量应满足用户需求； b) 测试响应时间特性，测试软件响应一个用户任务或系统任务的平均时间，或测试软件响应时间 应满足规定目标； c) 测试处理时间特性，测试软件完成一个作业或一个异步进程的平均时间，或处理时间应满足规 定目标； d) 测试吞吐量特性，测试软件单位时间内完成作业的平均数量应满足规定目标。 6.4.3 容量 软件参数的最大限度应满足需求。 a) 测试指标可包括存储数据项数量、并发用户访问量、用户访问增长的充分性、通信带宽、交易 吞吐量和数据库规模。 b) 资源利用性 c) 软件执行其功能时
18、，所使用的资源数量和类型应满足需求。 d) 测试指标包括处理器平均占用率、内存平均占用率、I/O 设备平均占用率、宽带占用率。 6.4.4 测试过程 下列测试过程适用于性能（效率）测试： a) 模拟测试场景操作步骤，与服务器建立连接，传输数据，并能得到正确的服务器反馈； b) 回放操作步骤，模拟并发用户操作典型应用场景，向服务器施加压力； c) 统计模拟多人操作时，服务端响应能力和服务器资源占用情况。 6.5 维护性 6.5.1 易分析性 能预期变更（变更软件的一个或多个部分）对软件的影响、诊断软件的缺陷或失效原因、识别待修 改部分。 注： 测试指标可包括系统日志完整性、诊断功能有效性和诊断功
19、能的充分性等。 6.5.2 模块化 由多个独立组件组成的系统或计算机程序，其中一个组件的变更对其他组件的影响应最小。 注： 测试指标可包括组件间的耦合度、圈复杂度的充分性等。 6.5.3 易测试性 应能够为软件或组件建立测试准则，并通过测试执行来确定测试准则是否被满足有效性和效率。 注： 测试指标可包括测试功能的完整性、测试独立性和测试的重启动性。 DB52/T 16202021 7 6.5.4 可重用性 资产应能被用于多个系统或其他资产建设。 注：测试指标可包括系统中可重复使用资产的数量、符合所要求编码规则的模块的数量。 6.5.5 测试过程 下列测试过程适用于维护性测试： a) 查看服务端
20、日志，检测软件产品分析诊断能力； b) 查看软件产品图形化页面及权限配置页面，检测软件产品可配置能力； c) 查看软件产品配置参数元文件，检测软件产品修改能力； d) 使用主流测试工具，检测软件产品对主流测试工具的支持。 6.6 可移植性 6.6.1 适应性 软件应能有效地、高效地适应不同的或演变的硬件、软件或者其他运营（或使用）环境。 注：测试指标可包括硬件环境的适应性、系统软件环境的适应性、运营环境的适应性。 6.6.2 易替换性 在相同环境中，软件应能替换另一个相同用途的指定软件产品。 注：测试指标可包括使用相似性、产品质量等价性、功能的包容性和数据复用/导入能力。 6.6.3 易安装性
21、 在指定环境中，软件应能成功地安装和/或卸载。 注：测试指标可包括安装的时间效率和安装的灵活性。 6.6.4 测试过程 下列测试过程适用于可移植性测试： a) 在多操作系统环境下安装部署软件产品服务端，检测其运行情况； b) 使用多种模式安装，包括服务端和移动终端； c) 安装完成是否影响其他软件产品的正常运行。 6.7 信息安全性 6.7.1 保密性 软件产品应能对数据进行保护,并对访问控制实行权限管理，只允许授权用户访问。 注：测试指标可包括访问控制性、数据加密正确性和加密算法的强度等。 6.7.2 完整性 6.7.2.1 软件产品应能识别并防止对数据的未授权访问。 6.7.2.2 软件产
22、品应具有基于先进加密算法的防篡改机制，识别并阻止对计算机程序或数据的篡改。 6.7.3 防入侵性 软件产品应能识别并阻止恶意入侵事件，并通报给相关授权用户。 DB52/T 16202021 8 6.7.4 抗抵赖性 软件产品应能确保事件发生后应可以被证实且不可被否认。 注： 测试指标可包括使用数字签名，处理需要抗抵赖性事务的比例。 6.7.5 可核查性 软件产品的运行活动应可以被唯一地追溯到该实体地。 注： 测试指标可包括对用户访问系统或数据地审计跟踪地完整程度，系统日志存储在稳定存储器中地时间占要求地 存储时间的比例。 6.7.6 真实性 软件产品在对处理对象或资源的合法身份标识应能够被识别
23、并证实其符合性。 注： 测试指标可包括鉴别机制的充分性和鉴别规则的符合性等。 6.7.7 测试过程 信息安全性的测试过程应符合GB/T 20271-200 6中5.2.6的规定。 6.8 兼容性 6.8.1 共存性 在与其他产品共享通用的环境和资源的条件下， 产品应能有效执行其所需的功能并且不会对其他产 品造成负面影响。 注： 测试指标可包括当规定的其他软件产品与该软件产品共享环境，而不会对质量特性或功能产生负面影响的比。 6.8.2 互操作性 两个或多个软件或组件应能够交换信息并使用已交换的信息。 注： 测试指标可包括数据格式可交换性、数据交换协议充分性、外部接口充分性等。 6.8.3 测试
24、过程 兼容性测试过程包括以下步骤： a) 将软件产品安装包分发至不同机型、不同分辨力、不同操作系统版本的终端上，并执行安装、 卸载、启动、运行等操作，分别查看在终端上的运行情况； b) 利用技术手段，使测试终端设备处于低电量、低内存空间、高 CPU 占用，检测软件产品在不同 极限环境下的运行情况。 7 数据要求 7.1 数据量要求应符合 GB/T 3 6344-2018 中规定的数据质量指标。 7.2 数据存储量应符合面向大数据应用的就绪可用软件产品测试用例的需求。 7.3 测试数据应均衡分布在计算机集群的节点上。 DB52/T 16202021 9 8 测试环境 8.1 硬件环境 面向大数据
25、应用的就绪可用软件产品硬件测试环境应包括以下几方面要求： a) 应符合面向大数据应用的就绪可用软件产品测试用例需求的分布式计算机节点集群； b) 分布式计算机节点集群 CPU、内存、存储容量、通信带宽等资源应满足面向大数据应用的就绪 可用软件产品的数据存储、计算和集群通讯等需求； c) 保证分布式集群最低的 CPU 和内存使用率，集群内各计算机之间应负载均衡，分布式集群具备 高性能的处理基础。 8.2 软件环境 面向大数据应用的就绪可用软件产品软件测试环境应包括以下几方面要求： a) 应符合面向大数据应用的就绪可用软件产品测试用例需求的结构化数据、半结构化数据和非结 构化数据的存储软件环境，契
26、合大数据处理框架，满足就绪可用软件产品对大数据存储环境的 需求； b) 应搭建面向大数据应用的就绪可用软件产品测试用例需求的大数据处理框架，包括但不限于 Hadoop、Spark 等框架，满足对大数据处理环境的需求。 9 测试文档集要求 9.1 基本要求 9.1.1 目的 测试文档集的目的是证实软件符合第6章、第7章的规定。 9.1.2 一致性 9.1.2.1 测试文档集中的每个文档所包含的信息应是正确的并且是可验证的。 9.1.2.2 测试文档集中的每个文档不应自相矛盾，并且不应与产品说明和用户文档集矛盾。 9.1.3 内容要求 9.1.3.1 测试文档集应包含以下几个文档： a) 测试计划
27、； b) 测试说明； c) 测试结果(报告)。 9.1.3.2 测试文档集中的每个文档，应包括以下几方面内容： a) 标题； b) 产品标识； c) 修改历史或说明该文档演变的任何其他元素； d) 目次或对内容的说明； e) 该文档正文中引用的文档的标识符； f) 有关作者和审查者的信息； f) 术语表。 DB52/T 16202021 10 9.1.4 方法 9.1.4.1 在产品说明和第 6 章中提及的所有质量特性，均应经过至少一个测试用例的测试。 9.1.4.2 用户文档集中说明的所有功能，均应经过至少一个测试用例的测试。 9.1.4.3 测试用例应能验证软件与用户文档集中的陈述相符。
28、9.1.4.4 应指明测试用例的设计方法。 注： 可能的设计方法有：边界值分析、检查表、数据流分析、故障插入、容量测试。 9.1.4.5 安装规程应经过测试用例测试。 9.1.4.6 在产品说明和用户文档集中指明的操作限制，均应经过测试用例测试。 9.1.4.7 对违法输入应经过测试用例测试。 9.1.4.8 如果用户文档集中给出若干示例，这些示例应用作测试用例，但整个测试不应局限于这些示 例。 9.2 测试计划要求 9.2.1 通过-失败准则 测试计划应明确用于判定测试结果是否符合要求的符合性准则。 9.2.2 测试环境 测试计划应明确将要进行的测试所处的软件测试环境。 9.2.3 进度 测
29、试计划应明确整个测试的进度。 9.2.4 风险 测试计划应识别、更新和记录测试活动中存在的风险，并提供应对措施。 9.2.5 人力资源 测试计划中应明确测试活动所需的人力资源情况。 9.2.6 工具和环境资源 9.2.6.1 测试计划中应明确测试活动所需的工具，必要的测试环境。 9.2.6.2 如果使用特殊的工具和环境， 测试计划中应说明选择这些工具和环境的原因以及预期的结果。 9.3 测试说明要求 9.3.1 测试用例说明 对每个测试用例的说明应包括以下几个方面： a) 测试目标； b) 唯一性标识符； c) 测试的输入数据和测试边界； d) 详细实施步骤； e) 系统的预期行为； f) 测
30、试用例的预期输出； DB52/T 16202021 11 g) 结果判定准则； h) 用于判定测试用例的肯定或否定结果的准则。 9.3.2 测试规程 测试规程应包括以下几个步骤： a) 测试准备； b) 开始和执行测试所必需的动作； c) 记录测试结果所必需的动作； d) 停止和最终重启动测试的条件和动作； e) 在软件被纠正之后,对于所涉及的功能和任何相关的功能,应有一种重新测试的规程。 9.4 测试结果要求 9.4.1 执行报告 执行报告应包含以下内容： a) 全部测试用例结果； b) 已正式按照测试计划执行的测试用例； c) 测试用例的标识符； d) 测试执行日期； e) 测试人员姓名和
31、职责； f) 测试用例执行的结果； g) 发现的异常清单。 9.4.2 异常情况报告 9.4.2.1 异常情况报告应包括所发现的全部异常汇总及纠正情况和通过再测试的验证情况。 9.4.2.2 对于每个异常，异常情况报告应说明如下内容： a) 异常的标识符； b) 软件的标识符； c) 对异常的说明； d) 执行测试用例中异常发生点； e) 异常的严重程度和可重现程度。 注1：异常的严重程度可以包括 “致命的”“严重的”“重大的”“微小的”“轻微的”。 注2：异常的可重现程度可以包括“总是出现”“有时出现”“随机出现”“未尝试”“不可再现”“N/A”。 9.4.2.3 异常情况报告应说明发现的所
32、有异常均已纠正，或未纠正的原因。 9.4.3 测试结果的评估 关于执行报告和异常情况报告的评估应表明，在所使用的判定测试结果是否在该软件的符合性准 则的界限内。 DB52/T 16202021 12 10 符合性评价细则 10.1 一般原则 10.1.1 RUSPBDAO 应就其与第 6 章的要求做符合性评价。 10.1.2 符合性评价细则主要由符合性评价组织来进行的评价。 符合性评价组织可是根据某种认证模式 工作的测试实验室,或是独立于 RUSPBDAO 供方的内部测试实验室、第三方测试实验室等。 10.2 符合性评价活动 10.2.1 符合性评价方法宜在文档中予以明确。 10.2.2 通过
33、测试文档集来实施符合性评价,以确定软件与第 6 章、第 7 章的要求的符合性。 注： 未推荐任何特定的技术或工具。 10.3 符合性评价过程 10.3.1 供方将 RUSPBDAO 提供给符合性评价组织。 10.3.2 符合性评价组织应符合以下几方面要求： a) 依据 9.2 的要求，对 RUSPBDAO 实施符合性评价； b) 依据 9.4 的要求，将结果记录在符合性评价报告中。 10.4 符合性评价报告 10.4.1 符合性评价组织应编制符合性评价报告。 10.4.2 符合性评价报告应包含但不限于以下各项： a) RUSPBDAO 标识； b) 执行评价的人员姓名； c) 评价完成日期以及测试完成日期； d) 用于进行测试的计算机系统(硬件、软件及其配置)及大数据测试环境； e) 使用的文档及其标识； f) 应单列大数据软件数据资源利用性测试报告； g) 符合性评价活动汇总以及测试活动汇总； h) 符合性评价结果汇总以及测试结果汇总； i) 符合性评价的详细结果以及测试的详细结果； j) 不符合项清单。 _ DB52/T 1620-2021
