DB11 T 2520-2026 家庭环境通用人工智能视觉心智能力测试规范.pdf

《DB11 T 2520-2026 家庭环境通用人工智能视觉心智能力测试规范.pdf》由会员分享，可在线阅读，更多相关《DB11 T 2520-2026 家庭环境通用人工智能视觉心智能力测试规范.pdf（13页珍藏版）》请在麦多课文档分享上搜索。

1、ICS 35.240 CCS L 60 DB11 北京市地方标准 DB11/T 25202026家庭环境通用人工智能视觉心智能力测试规范 Specification of Visual Cognitive Ability Test of Artificial General Intelligence in Family Environment 2026-05-27 发布 2026-09-01 实施北京市市场监督管理局 发 布DB11/T 25202026 I 目 次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 测试指标体系.2 4.1 测试指标概述.2 4.2 任

2、务泛化能力.2 4.3 自主生成任务能力.3 5 测试任务维度.4 5.1 概述.4 5.2 客体属性及关系理解.5 5.3 状态理解.5 5.4 视觉常识理解.6 5.5 事件理解.6 5.6 行为意图理解.6 5.7 情绪理解.6 5.8 视觉语言联合解译.6 5.9 自然语言指令的视觉响应.6 6 测试流程.7 6.1 概述.7 6.2 测试准备.7 6.3 测试执行.8 6.4 测试结果.8 附录 A（资料性）家庭环境通用人工智能视觉心智能力测试结果示例.9 A.1 测试任务.9 A.2 测试结果.9 参考文献.10 DB11/T 25202026 II 前 言 本文件按照GB/T 1

3、12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。本文件由北京市科委、中关村管委会提出并归口。本文件由北京市科委、中关村管委会组织实施。本文件起草单位：北京通用人工智能研究院、北京大学、电子科技大学、中移物联网有限公司、科大讯飞股份有限公司、中兴通讯股份有限公司、浪潮电子信息产业股份有限公司、立心通智科技（北京）有限公司、阿里巴巴（上海）网络技术有限公司、合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）。本文件主要起草人：彭玉佳、张振亮、韩佳衡、程真喾、何欣怡、王愉茜、张露、谢琦、戴博、范丽凤、崔锦实、俞一鹏、董文储、尚云云、杨春龙、杨彤晖、吴剑、刘少卿、

4、封宁、张宁、董乐、朱松纯。DB11/T 25202026 1 家庭环境通用人工智能视觉心智能力测试规范 1 范围 本文件规定了适用家庭环境的通用人工智能视觉心智能力的测试规范，描述了测试指标、测试任务维度、测试流程等内容。本文件适用于指导通用人工智能系统开发方、用户方以及第三方等相关组织对家庭环境中通用人工智能系统的视觉心智能力开展测试工作。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 418672022 信息技术 人工智能 术

5、语 GB/T 42755 人工智能 面向机器学习的数据标注规程 3 术语和定义 GB/T 418672022 界定的以及下列术语和定义适用于本文件。3.1 通用人工智能 artificial general intelligence 具有高效的学习和泛化能力、能够根据所处的复杂动态环境自主产生并完成非事先定义的任务的人工智能。3.2 家庭环境 home environment 由人类居住空间及其附属设施构成的典型室内场景集合，包含但不限于起居室、卧室、厨房、卫生间等功能区域，涵盖家具、家电、日用品等家居物品，以及家庭成员、宠物等动态要素的有机整体。其空间布局与物体分布需符合现实居住场景的物理逻

6、辑与社会习俗。注：区别于实验室环境或工业场景，强调非结构化、动态变化的真实生活场景特性。动态要素如家庭成员的活动、宠物的移动、光照的昼夜变化、物品位置的临时变动。3.3 视觉心智能力 visual cognitive ability 智能系统通过获取家庭环境视觉数据，以视觉为主的多模态信息，实现对物体属性、场景功能可供性、事件逻辑及潜在意图等的层次化理解，支持视觉任务的定义和完成。DB11/T 25202026 2 3.4 任务 task 智能系统基于环境感知与目标需求，自主或受控发起的一组结构化动作序列，旨在完成特定功能或解决具体问题。注:任务用于完成一个相对独立的业务功能。一个任务属于且仅

7、属于一个作业。3.5 模态 modality 信息呈现的类型，包含图像、视频、文本和声音等。4 测试指标体系 4.1 测试指标概述 家庭环境通用人工智能视觉心智能力测试指标体系包括任务泛化能力指标以及自主生成任务能力指标，每个指标由子指标组成，见图1。在实施评估过程中，应根据不同类型的通用人工智能算法，在不同质量特性下设置具体评估指标。传统人工智能测试指标，如所需资源、效率（如算力和推理时间），均可作为家庭环境通用人工智能视觉心智能力测试的辅助指标。图1 家庭环境通用人工智能视觉心智能力测试指标 4.2 任务泛化能力“任务泛化能力”指标用于评估通用人工智能系统通过有限训练或经验，将已学习任务的

8、核心逻辑迁移至新任务、新场景或新对象的能力，并在动态环境中保持稳定性能，而无需针对每个新任务重新训练或人工干预。衡量通用人工智能系统在多任务场景下正确完成任务的精度，包括对已知任务和未知任务的泛化能力。计算方法见公式（1）：=(1)其中，=1 =1,=1()2=1 =+100%,1,2,.,式中：T任务泛化能力 DB11/T 25202026 3 f各任务类别的准确率 M测试任务类别总数量 各任务类别准确率的标准差 各任务类别准确率的均值 任务表现波动性惩罚强度，在通用测试场景下，建议取值范围为0.52.0 TP正确完成的家庭任务数 TN正确忽略的家庭任务数 FP错误完成的家庭任务数 FN错误

9、忽略的家庭任务数 4.3 自主生成任务能力“自主生成任务能力”指标用于衡量通用人工智能在无明确指令时，基于环境视觉输入自主发现、定义并执行合理任务的能力。对通用人工智能自主生成任务的测试包括以下两种性质。a）相关性：测试生成任务与家庭场景实际需求的关联程度，避免无关或无效任务，使任务符合人类期望或实际需求。计算方法见公式（2）：=1 (,)=(2)其中，(,)=(),()式中：总任务集相关性 r 任务间相关性 测试周期内自主生成的任务总数 第i个自主生成的任务（i取值范围1到N）家庭场景的真实任务需求集合（如清洁、整理、安全等典型家庭任务），在通用场景下，建议通过专家调研、用户研究或大数据分析

10、构建H H集合中的第n个真实家庭任务（H）任务的权重系数，反映该任务在家庭场景中的相对重要性（所有之和为1），建议通过测试目的分配相对权重()任务文本的嵌入向量表示函数（通常使用BERT等预训练语言模型获得）(,)余弦相似度函数，计算两个向量之间的相似度（值域-1,1，实际使用时取绝对值并归一化到0,1范围）b）覆盖度：衡量系统能够完成的家庭任务类别的多样性，反映泛化能力。计算方法见公式（3）：=|(3)DB11/T 25202026 4 式中：任务覆盖度 completed有效完成的任务类型集合 total测试中所有任务类型的集合 集合的基数（元素数量）c）自主生成任务能力：自主生成任务能力

11、测试指标总分计算见公式（4）：=+(1 )(4)自主生成任务能力指标得分 任务相关性 TC任务覆盖度 任务相关性权重。在通用测试场景下，建议取值为0.5，以均衡评估任务相关性与覆盖度。测试方也可根据特定评估目的（如侧重任务的创新性或实用性）在测试报告中声明的取值及其依据。5 测试任务维度 5.1 概述 家庭环境通用人工智能视觉心智测试任务维度主要分为单模态视觉理解和跨模态视觉理解，见图 2。单模态视觉理解包括客体属性及关系理解、状态理解、视觉常识理解、事件理解、行为意图理解、情绪理解 6 个二级维度。跨模态视觉理解包括视觉语言联合解译、自然语言指令的视觉响应 2 个二级维度。视觉心智能力测试维

12、度和典型任务见表 1。指标的具体量化过程，如计算方式和误差，可差异化处理。图2 家庭环境通用人工智能视觉心智能力测试维度 DB11/T 25202026 5 表1 视觉心智能力评测维度和典型任务 一级维度 二级维度 描述 典型任务 单模态视觉理解 客体属性及关系理解 系统能够识别出图像的核心内容，从图像中提取关键信息，确保识别结果具有较高的精确度和鲁棒性；能理解不同物体之间的空间关系；场景拓扑理解。对比被测对象输出图像识别对象与真实对象标签，如一致，则记为正确；图像深度估计、空间结构理解、三维形状理解；分析场景中物体间的空间、功能等关系（如上下关系、支撑关系、遮挡关系、铰链关系等）；理解房间布

13、局的可达性，规划在房间内的移动路径。状态理解 理解自身状态，以及环境的物理状态、属性或变化。分析自身属性状态，判断物体材质、老化、损坏状态等。视觉常识理解 实现对常见的基本物理常识、社会常识的理解。物理常识包括基本的物理规律，社会常识包括社会规范、社交规则等。理解物体持久性（物品遮挡后依然存在）；理解重力与稳定性（如，积木堆叠的合理性）；理解材质交互规律（如，水杯打翻后液体流动）；理解因果关系。理解社交的基本规范；理解基础的文化符号（如，白色在西方是婚纱，在东方可能象征丧葬）。事件理解 识别或预测图像或视频中的事件或动态变化。基于视频理解事件，时序动作定位。行为意图理解 能识别图像或视频中人体

14、的动作。推断人或智能体的目标、动机或交互意图。识别视频中人体动作，如行走、跳跃、弯腰等；理解复杂人体行为，如打架、跌倒等；预测人类意图，识别人机交互意图。情绪理解 识别人脸表情、肢体动作或情绪状态。表情识别、情绪分析、微表情理解和肢体动作理解。跨模态视觉理解 视觉语言联合解译 模型能从提取图像中的文字，并联系图像与文本内容进行深入理解和分析。提取图像文字、回答关于图像的文本问题、文档理解。自然语言指令的视觉响应 模型能理解文本、语音等模态的自然语言信息，并联系图像内容进行深入理解和分析。理解文本、语音等模态的自然语言信息，能够将图像与自然语言信息相对应。5.2 客体属性及关系理解 测试客体属性

15、及关系理解能力，指测试通用人工智能识别图像中物体的属性（如颜色、形状、材质）及物体间的空间、逻辑关系的能力，包含但不限于以下能力：a）属性识别：检测物体的物理或抽象特征，包含图像深度估计、空间结构理解、三维形状理解等；b）关系推理：判断物体间的相对位置、归属关系或比较关系。5.3 状态理解 DB11/T 25202026 6 测试通用人工智能的状态理解能力，指测试通用人工智能识别物体或场景的瞬时状态或条件的能力，包含但不限于以下能力：a）物理状态判断：分析并准确判断物体的状态，如可操作性、完整性、开关状态、物理状态；b）场景状态推断：判断环境的物理、社会属性，如整洁度、空间大小；c）自身状态理

16、解：判断智能体自身的属性、特征、状态。d）空间关系判断：判断物体之间的相对位置，分析环境的空间布局 5.4 视觉常识理解 测试通用人工智能的视觉常识理解能力，指测试通用人工智能基于常识对视觉内容进行合理推断的能力，包含但不限于以下能力：a）隐含信息推理：推测图像中未直接呈现的信息；b）反事实推理：预测违反常识的视觉情境。5.5 事件理解 测试通用人工智能的事件理解能力，指测试通用人工智能识别并解析动态场景中的事件及其结构的能力，包含但不限于以下能力：a）事件检测：识别定位视频中发生的特定事件；b）时序关系建模：判断多个事件的时间顺序；c）事件因果推理：分析事件间的因果关系。5.6 行为意图理解

17、 测试通用人工智能的行为意图理解能力，指测试家庭环境通用人工智能推断动态场景中主体的目标或动机的能力，包含但不限于以下能力：a）个体动作意图识别：判断行为的潜在目的；b）群体交互行为预测：预测多个主体间彼此协同或冲突的意图。5.7 情绪理解 测试通用人工智能的情绪理解能力，指测试通用人工智能识别动态场景中主体的情绪状态的能力，包含但不限于以下能力：a）面部情绪识别：通过表情判断情绪；b）肢体语言分析：通过姿势或动作推断情绪；c）情境情绪推理：结合场景背景信息推测情绪。5.8 视觉语言联合解译 测试视觉语言联合解译能力，指测试通用人工智能结合视觉与文本信息进行跨模态推理的能力，包含但不限于以下能

18、力：a）图文匹配：判断文本描述是否与图像内容一致；b）视觉问答：回答基于图像内容的提问；c）指代消解：关联文本中的代词或抽象表述到图像中的具体区域。5.9 自然语言指令的视觉响应 测试通用人工智能的自然语言指令视觉响应能力，指测试通用人工智能理解自然语言信息并DB11/T 25202026 7 结合图像内容进行推理、操作和表达的能力，包含但不限于以下能力：a）指令理解与执行：根据自然语言指令在图像中进行目标定位、区域标注或操作；b）图文关联推理：将自然语言与图像内容进行对应，结合上下文进行跨模态分析与解释；c）文档视觉理解：结合自然语言信息，在图像、表格、文档类视觉材料中识别关键信息，并根据指

19、令生成准确的理解或回答。6 测试流程 6.1 概述 通用人工智能视觉理解能力的测试包括测试准备、测试执行、测试结果三大步骤，如图3所示：a）测试准备：将根据测试需要，筛选任务维度和任务池中的部分或全部任务作为测试任务集合，对每个任务用到的数据集进行质量审查；b）测试执行：导入待测模型，将模型在测试任务集合上进行测试，测试逐维度、逐任务开展，直到全部选定任务均测试完成；c）测试结果：根据待测模型在参加所有测试的测试数据，汇总报告测试结果。图3 通用人工智能视觉心智能力测试流程 6.2 测试准备 测试数据集应满足以下要求：a）合规性和隐私保护：数据收集过程遵循适用的法规和隐私保护标准，保护用户隐私

20、b）评测指标完备：为每个评测指标构建满足相应数量的数据集，并审查数据集质量，以确保数据集能支撑相关测试的顺利展开；c）时效性：数据集结合开源数据集和自制数据集，定期更新维护；d）可用性：数据集格式和接口符合广泛的标准，以便于获取和使用；DB11/T 25202026 8 e）多样性和代表性：涵盖不同的背景、场景、领域等，以确保数据能覆盖不同的使用情况；f）数据标注流程符合GB/T 42755的要求，或提供等效的质量保证说明。6.3 测试执行 测试执行过程应包括以下三个步骤：a）导入待测模型，验证模型的输入和输出数据工作正常；b）逐个开展任务测试，由测试系统根据任务要求来记录待测模型表现；c）

21、汇总测试数据，进入测试结果分析及报告流程。6.4 测试结果 6.4.1“任务泛化能力”分数计算 该指标的计算应包括以下步骤：a）针对表1中的部分或全部二级能力维度，选择M个测试任务类别；b）依次针对M个任务类别开展测试；c）首先在选定的任务场景下，由测试系统随机生成针对选定任务类别的多个家庭任务，包含有效家庭任务和无关家庭任务；d）给定明确任务指令，并设定任务执行时间，在时间用尽后汇总任务完成情况；e）统计正确完成的家庭任务数（TP）、正确忽略的家庭任务数（TN）、错误完成的家庭任务数（FP）、错误忽略的家庭任务数（FN），综合全部M个类别得分，根据公式1计算“任务泛化能力”最终得分。6.4.

22、2“自主生成任务能力”分数计算 该指标的计算应包括以下步骤：a）针对表1中的部分或全部二级能力维度，选择M个测试任务类别；b）依次针对M个任务类别开展测试；c）首先在选定的任务场景下，由测试系统随机生成针对选定任务类别的多个预期应完成的家庭任务；d）进而为测量自主性，不设定明确任务指令，允许待测模型自主决定执行或不执行任意任务，但设定任务执行时间，在时间用尽后汇总任务完成情况；e）统计所有已完成任务，根据公式2计算相关性，根据公式3计算覆盖度，最后根据公式4计算该类别“自主生成任务能力”得分；f）综合全部M个类别得分，计算所有类别的平均分作为“自主生成任务能力”最终得分。DB11/T 2520

23、2026 9 A A 附 录 A（资料性）家庭环境通用人工智能视觉心智能力测试结果示例 A.1 测试任务 针对表1中的3个二级能力维度（“客体属性及关系理解”、“视觉语言联合解译”、“视觉常识理解”），选择8个家庭环境测试任务，分别是整理行李箱、整理桌面、拼图、搭建积木、物品分类计数、打扫房间、理解按钮功能、挑选礼物。具体来说，整理行李箱、整理桌面、拼图、搭建积木这4个任务对应“客体属性及关系理解”维度；物品分类计数、打扫房间这2个任务对应“视觉语言联合解译”维度；理解按钮功能、挑选礼物对应“视觉常识理解”维度。基于测试引擎1开发了虚拟测试场景，支撑上述8个家庭任务的测试。测试场景如下：图A.

24、1 测试任务场景示意图 针对每一项测试任务，检查所采用的虚拟测试环境是否能够正常启动，导入智能体，完成正常的数据交换。并且按照6.2中要求，对所采用的测试环境进行检查。如通过检查，则进入下一步测试。A.2 测试结果 实验中接入2款多模态大模型：实验多模态大模型1（简称为大模型1）、实验多模态大模型2（简称为大模型2）。模型在各项测试任务中的原始得分如下表所示（百分制）。可以根据公式1，进一步计算均值和标准差，从而得到“任务泛化能力”指标的分数。当=1，大模型1的“任务泛化能力”得分为0.172，而大模型2的得分为0.108。表A.1 模型测试结果 模型 整理行李箱 理解按钮功能 整理桌面 挑选

25、礼物 物品分类计数 搭建积木 打扫房间 拼图 人类儿童 52%74%69%57%70%74%50%88%大模型 1 55%40%30%29%33%13%24%15%大模型 2 5%33%13%34%27%20%15%16%DB11/T 25202026 10 参 考 文 献 1 GB/T 20000.12014 标准化工作指南 第1部分：标准化和相关活动的通用术语 2 GB/T 352732020 信息安全技术 个人信息安全规范 3 GB/T 406602021 信息安全技术 生物特征识别信息保护基本要求 4 GB/T 418672022 信息技术 人工智能 术语 5 GB/T 452252025 人工智能 深度学习算法评估 6 YD/T 39442021 人工智能芯片基准测试评估方法 7 YD/T 43162023 面向智慧城市应用的人工智能服务能力开放技术要求