DB31 T 1707-2026 人形机器人数据集管理规范.pdf
《DB31 T 1707-2026 人形机器人数据集管理规范.pdf》由会员分享,可在线阅读,更多相关《DB31 T 1707-2026 人形机器人数据集管理规范.pdf(24页珍藏版)》请在麦多课文档分享上搜索。
1、ICS25.040.30CCS L 6631上海市地方标准DB31/T 1707-20262026-09-30 发布2027-01-01 实施上海市市场监督管理局 发 布人形机器人数据集管理规范Specification for humanoid robot dataset managementDB31/T 1707-2026I目次前言.III1范围.12规范性引用文件.13术语和定义.14缩略语.25总则.26相关方要求.3相关方分类.3提供方.4需求方.4管理方.4平台方.4评价方.47数据采集.5概述.5数据采集管理要求.58数据预处理.59数据标注.510数据格式.611数据集存储.7
2、12数据集使用管理.713数据集流通.8基本要求.8数据集共享.9数据集确权.9数据集流通交易.914数据集销毁.915数据集说明.916数据集安全.1017数据集质量管理.11附录 A(资料性)人形机器人本体坐标系示意图.12附录 B(资料性)数据集格式.13B.1元数据格式.13DB31/T 1707-2026IIB.2主数据格式.14参考文献.18DB31/T 1707-2026III前言本文件按照GB/T 1.12020标准化工作导则第1部分:标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由上海市经济和信息化委
3、员会提出并组织实施。本文件由上海市人工智能标准化技术委员会归口。本文件起草单位:上海机器人产业技术研究院有限公司、人形机器人(上海)有限公司、上海电器科学研究院、上海库帕思科技有限公司、上海市人工智能行业协会、中国科学院上海微系统与信息技术研究所、上海电气集团股份有限公司、上海汽车集团(北京)有限公司、浙江国评智检机器人有限公司、上海人工智能创新中心、上海国评智检机器人有限公司、上海擎朗智能科技有限公司、深圳市优必选科技股份有限公司、北京小米机器人技术有限公司、五八智能科技(杭州)有限公司、上海识度数字科技有限公司。本文件主要起草人:郑军奇、刘宇飞、邢琳、山栋明、钟俊浩、赵春昊、饶雪、李嘉茂、
4、吕燕、单战、汪汗青、周梅杰、唐旋来、梁乔玲、向迪昀、卢宇、钟玉锋、陈红洁、孙远祥、李庆展、王磊、熊学胜、李博程、林雪琴、朱冬晨、沈荣港、曹天翔、张弋、张晔。DB31/T 1707-20261人形机器人数据集管理规范1范围本文件规定了人形机器人数据集管理的总则、相关方要求,以及人形机器人数据集中数据采集、数据预处理、数据标注、数据格式、数据集存储、数据集使用管理、数据集流通、数据集销毁、数据集说明、数据集安全、数据集质量管理的要求。本文件适用于规范各类人形机器人数据集(以下简称“数据集”)的相关活动,也适用于主管监管部门、第三方评估机构等组织对数据集进行监督、管理和评估。2规范性引用文件下列文件
5、中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T 222392019信息安全技术网络安全等级保护基本要求GB/T 31916.1信息技术云数据存储和管理第1部分:总则GB/T 35273信息安全技术个人信息安全规范GB/T 36530机器人与机器人装备个人助理机器人的安全要求GB/T 36625.32021智慧城市数据融合第3部分:数据采集规范GB/T 377282019信息技术数据交易服务平台通用功能要求GB/T 38244机器人安全总则GB/T 40660
6、信息安全技术生物特征识别信息保护基本要求GB/T 414792022信息安全技术网络数据处理安全要求GB/T 41773信息安全技术步态识别数据安全要求GB/T 41807信息安全技术声纹识别数据安全要求GB/T 418182022信息技术大数据面向分析的数据存储与检索技术要求GB/T 42018信息技术人工智能平台计算资源规范GB/T 42755人工智能面向机器学习的数据标注规程GB/T 45502服务机器人信息安全通用要求GB/T 45574数据安全技术敏感个人信息处理安全要求ISO/IEC 14977信息技术句法元语言扩展巴克斯范式(Information technologySynta
7、cticmetalanguageExtended BNF)IEC 62714-1用于工业自动化系统工程的工程数据交换格式-自动化标记语言-第1部分:体系结构和一 般要 求(Engineering data exchange format for use in industrial automation systemsengineering-Automation Markup Language-Part 1:Architecture and general requirements)3术语和定义下列术语和定义适用于本文件。DB31/T 1707-20262人形机器人humanoid robot具
8、有躯干、头部和部分或全部肢体,外观和动作与人类相似,实现感知、认知、决策、执行等能力的机器人。数据data信息的可再解释的形式化表示,以适用于通信、解释、处理和流转。注:可以通过人工或自动手段处理数据。来源:GB/T 5271.12000,01.01.02,有修改数据集dataset具有一定主题,可标识并能被计算机系统处理的数据集合。来源:ISO 191151:2014,4.3元数据metadata定义和描述其他数据的数据。来源:GB/T 18391.12009,3.2.16主数据master data数据集中与目标任务相关的场景、任务、机器人本体等数据部分,用于支撑主要的分析、建模和决策任务
9、4缩略语下列缩略语适用于本文件。API:应用程序编程接口(Application Programming Interface)CI/CD:持续集成/持续交付(Continuous Integration/Continuous Delivery)FTP:文件传输协议(File Transfer Protocol)HTTP:超文本传输协议(Hypertext Transfer Protocol)JSON-LD:JSON链接数据(JavaScript Object Notation for Linked Data)SemVer:语义化版本控制(Semantic Versioning)TCP:传输控
10、制协议(Transmission Control Protocol)UDP:用户数据报协议(User Datagram Protocol)UMI:通用操作接口(Unified Manipulation Interface)Unicode:通用编码字符集(Universal Coded Character Set)UTF8:Unicode 转换格式-8位(Unicode Transformation Format-8bit)VR:虚拟现实(Virtual Reality)XML:可扩展标记语言(Extensible Markup Language)5总则人形机器人数据集全生命周期管理原则包括:D
11、B31/T 1707-20263a)完整性:数据集涵盖与目标任务相关的所有必要信息,包括但不限于传感器数据、机器人构型信息等,数据集描述准确完整;b)典型性:数据集反映真实应用场景的典型情况,无明显偏差;c)易用性:数据集采用标准化格式与结构化存储方案,便于存储与下载,支持跨区域高效访问、传输及协作共享;d)合规性:数据集构建与评价的各个环节符合法律法规、政策文件、伦理等;e)可拓展性:数据集结合技术进步、应用场景拓宽,进行及时更新与扩展;f)保密性:通过实施数据加密、访问控制等措施,防范非授权访问与泄露风险;g)隐私性:注重保护个人敏感信息、商业敏感信息等;h)分类管理:依据数据集安全分类建
12、立差异化全流程保护措施。根据数据集中数据信息的重要性与敏感性,将数据集划分为公开数据集、受限数据集、敏感数据集、涉密数据集 4 个类别,见表 1。根据具体应用场景,制定对于受限数据集或敏感数据集的管理类文件。表 1数据集安全分类名称说明公开数据集对社会公众开放的数据集政府、公共机构、研究机构、企业或其他组织发布的自由获取和使用的数据集受限数据集仅限于局部个人和组织使用,达到一定精度(数值、时间、空间精度等)和规模(数据存储量、企业市值、交易量等)的数据集,包括但不限于个人基本资料a、组织基本资料b确保数据集全生命周期安全敏感数据集数据泄漏后会给社会或个人带来严重危害的数据集,包括个人敏感信息数
13、据和商业敏感信息数据确保数据集访问安全并实时监控涉密数据集c涉及保密数据,不准许公开使用涉密数据集包括:a)绝密级数据集:最重要的涉密数据集,泄露会使国家安全和利益遭受特别严重的损害b)机密级数据集:重要的涉密数据集,泄露会使国家安全和利益遭受严重的损害c)秘密级数据集:一般的涉密数据集,泄露会使国家安全和利益遭受损害a 如姓名、性别、工作单位名称、职务、联系电话、邮箱等。b 如组织机构名称、代码、简介、电话、邮箱等。c 本文件不包含涉密数据集。6相关方要求相关方分类数据集相关方包括提供方、需求方、管理方、平台方、评价方及其他相关方。a)提供方:直接生成、采集或持有原始数据并负责交付的人员或机
14、构,包括数据集采集方、生成方及标注方。注:标注方是承担数据集数据标注任务的人员或机构。b)需求方:提出数据集建设目标、任务需求、应用场景、数据标注等需求信息的人员或机构。c)管理方:管理数据集数据标注任务评估、分发、交付、验收以及质量把控的人员或机构。d)平台方:提供数据集存储、管理、分发及访问服务的人员或机构。DB31/T 1707-20264e)评价方:承担数据集质量评价、合规性审查、安全审计等技术支持的人员或机构。f)其他相关方:在数据集全生命周期中提供辅助支持的人员或机构,包括但不限于模型训练方、算力平台方、数据服务方、数据复用方。提供方6.2.1应建立相应的数据集管理制度,包括数据采
15、集、质量管控、安全防护、元数据管理等,明确相关的岗位、人员和职责。6.2.2应设立专兼职岗位(如数据采集员、标注员等),明确人员资质与职责,定期组织人员培训。6.2.3应配备保障数据集采集、标注等任务完成的基础设施。6.2.4应依据数据采集方案实施数据采集,确保所提供数据集的合规性、完整性、来源可追溯。6.2.5应对原始数据标识 15.3 f)规定的数据来源类型,并提交元数据说明。6.2.6应配合管理方完成数据集质量评价与验收,配合解决数据集后续应用中发现的问题。需求方6.3.1应形成数据集需求说明文档,配合管理方和提供方完成数据集建设、交付,参与数据集验收,验证数据集内容与需求的匹配度。注:
16、数据集需求说明文档内容包括但不限于数据集目的、预期用途、将要支持的具体应用场景与特定任务。6.3.2应反馈数据集应用的问题,支持数据集质量改进与优化。管理方6.4.1应负责数据集全生命周期管理与组织协调。6.4.2应制定数据集建设计划、管理流程与安全策略,协调各方职责分工。6.4.3应建立数据集监管制度,监督数据采集、数据预处理、数据标注、数据集使用管理、数据集流通、数据集销毁等各环节的合规性与安全性。注1:数据集流通是指数据集在不同实体间流转的行为。注2:不同实体包括数据集提供方、需求方、管理方、平台方、评价方等。6.4.4应定期开展数据集质量评估与风险监测,保障数据安全与隐私。6.4.5应
17、建立数据集销毁机制,确保数据销毁安全可靠。平台方6.5.1平台方应提供稳定、安全的数据存储和管理服务,平台设计应符合 GB/T 42018 的要求,平台管理应符合 GB/T 377282019 中第 9 章的要求。6.5.2应开放多种数据访问接口,提供数据访问权限管理工具,支持身份验证、访问控制等功能。6.5.3应建立提供数据备份与恢复机制。评价方6.6.1评价方应独立于提供方、需求方、管理方及平台方。6.6.2应出具评价报告与改进建议。6.6.3应确保评价过程中接触的数据不被泄露或滥用。6.6.4应定期开展安全合规审计,识别风险并提出整改方案。DB31/T 1707-202657数据采集概述
18、数据采集是指在规定的时间间隔或特定事件发生时,按照一定的数据格式,有选择地获取数据样本的过程。采集方式包括自动采集与人工采集。常见的采集方式包括外骨骼采集、VR采集、动作捕捉设备采集、UMI采集、合成数据采集等。数据采集管理要求7.2.1应结合采集目标,制定数据采集准备方案,明确采集执行流程、采集数据交付与检验以及其他注意事项,保证采集过程的可溯源性。7.2.2采集环境选择应具备典型性,采集环境对采集数据质量产生的影响应可控,排除预设之外的干扰,考虑布置情况、物理环境(如温度、湿度、光照等)。7.2.3采集设备、平台、工具链应结合需求选取,明确设备名称、设备型号、设备序列、设备状态、连接状态、
19、设备位置、传感器种类、工具链功能等信息。7.2.4数据采集内容应体现机器人本体数据、环境数据等参数信息。注1:机器人本体数据是指通过机器人本体内部或外部传感器获得的人形机器人数据,如上肢运动数据、下肢运动数据、运动学状态数据、动力学状态数据等。注2:环境数据是指机器人与外界交互的数据,如视觉数据、听觉数据、触觉数据、嗅觉数据、味觉数据等。7.2.5应对数据采集来源进行标识,数据来源应符合 15.3 f)的规定。7.2.6数据采集应支持至少一种数据类型,如结构化、半结构化、非结构化数据类型。注:数据类型是指一些可区分的值的集合,这种区别由这些值的性质以及对这些值的运算所表征。7.2.7数据采集应
20、支持至少一种通讯协议,如 TCP、UDP、FTP、HTTP 等。7.2.8数据采集过程中的数据存储应符合 GB/T 31916.1 的规定。8数据预处理应对采集数据进行数据清洗、数据增强、数据特征提取、数据分帧、数据对齐和数据压缩等预处理。注1:数据清洗包括但不限于对采集后的数据进行格式异常处理。注2:格式异常处理是根据需求,识别出残缺数据和噪声数据,建立反馈机制并进行相应处理。应对数据预处理过程进行记录。9数据标注数据标注应符合 GB/T 42755 的要求。应给出数据标注任务说明、质量特性与评价方法,数据标注的质量特性包括准确性、一致性、时效性、可访问性、可移植性、保密性、可追溯性:a)准
21、确性:标注需求方应明确标注结果的准确性指标要求,提供对应验证方法;b)一致性:应明确标注过程中标注人员一致性、标注结果一致性和原始数据一致性;c)时效性:应提供包含标注数据的时效性信息的说明文件;d)可访问性:应确保标注结果可被授权用户访问,并给出数据存储与访问路径,提供包含访问权限管理内容的说明文件;DB31/T 1707-20266e)可移植性:应给出包含数据集可移植性的说明文件,内容包括但不限于数据格式标准化、标注工具兼容性等,应确保标注结果能被安装、替换或从一个系统移动到另一个系统中,并保持已有质量的能力;f)保密性:应根据标注规则,采取措施确保标注结果安全,并给出对应说明文件;g)可
22、追溯性:应明确标注任务可被追溯和记录的程度,并给出对应文件。应确保标注工具和平台的安全,宜采用国产化数据标注工具和平台,要求包括但不限于:a)应定期对标注工具和平台开展安全评估,发现潜在安全漏洞并及时进行修复与记录;b)应确保标注工具和平台详细记录用户的操作和系统活动,可追踪数据的处理历史;c)对于集中开展的数据标注工作,应提供具有适当区域划定和访问控制的物理环境,以防止未授权人员进入标注区域;对于非集中开展的数据标注工作,应确保每位标注人员所使用的标注设备安全和网络传输通道安全;d)如在标注过程中使用自动化标注工具进行辅助标注,应采用符合我国数据安全相关法律法规、标准等文件要求的工具;e)对
23、于需要审核的标注任务,标注工具及平台宜支持自定义配置功能;f)标注工具及平台宜具有过程记录功能。数据标注的验收标准宜考虑相关方实际需求,包括数据量、交付说明文档等。数据标注结果应包含动作、环境、目标等信息以及多模态数据时间戳一致性,输出格式应采用易解析、易存储的数据格式。应建立数据访问控制机制、信息传输安全机制并采取相应安全控制措施。标注结果宜支持数据资产复用。10数据格式标识符应具有规范性、唯一性和可追溯性。数据的单位宜使用国际标准单位或行业内广泛认可的单位。应提供人形机器人本体坐标系的详细本体坐标位置说明,包括坐标系的原点位置、坐标轴方向以及坐标系与机器人关键部件(如关节、传感器等)的相对
24、位置关系,必要时可提供示意图(见附录 A)。对于定制人形机器人应提供详细本体坐标位置说明。若涉及与其他坐标系的转换,应提供转换公式或方法。应明确数据在采集、处理、传输等流转过程中的格式要求,包括数据包结构、数据传输协议等。数据集的数据格式要求包括。a)应支持多种通用数据交换格式,提供版本号及获取路径。b)应使用符合 ISO/IEC 14977 规定的形式文法进行定义,并在文档中附上完整的语法规则文件。c)数据集文件和目录应符合下列要求:1)数据集文件和目录结构应统一,宜符合 IEC 62714-1 规定的组织方式;2)文件名宜使用小写字母及下划线,避免使用空格和特殊字符;3)宜在元数据中注明用
25、途信息;4)宜在数据集描述文件中注明数据集版本号。d)数据集顶层应嵌入元数据段,记录下列内容:1)格式版本:采用语义化版本号 SemVer;2)创建/修改时间;3)作者信息;4)依赖的 Schema 版本。DB31/T 1707-20267注:Schema用于定义数据结构、格式及约束规则的模式,如数据库Schema或JSON Schema。e)元数据格式可采用 JSON-LD 或 XML 注释方式嵌入,并提供独立的元数据 Schema 用于校验。f)提供典型示例文件和 CI/CD 脚本,自动执行格式校验。数据集的数据语义编码应符合下列要求:a)文本文件使用 UTF8 编码;b)键名使用下划线命
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
| 下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB31 1707-2026 人形机器人数据集管理规范 1707 2026 人形 机器人 数据 管理 规范
麦多课文档分享所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。



2015学年山西太原市第五中学八年级上学期10月月考语文试卷与答案(带解析).doc

