DB41 T 2925-2025 异构数据融合技术指南.pdf
《DB41 T 2925-2025 异构数据融合技术指南.pdf》由会员分享,可在线阅读,更多相关《DB41 T 2925-2025 异构数据融合技术指南.pdf(13页珍藏版)》请在麦多课文档分享上搜索。
1、 ICS 01.040.35 CCS L 70 41 河南省地方标准 DB41/T 29252025 异构数据融合技术指南 2025-08-08 发布2025-11-07 实施河南省市场监督管理局发 布 DB41/T 29252025 I 目次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 总体原则.1 5 融合过程.1 6 融合表应用.4 附录 A(资料性)异构数据融合示例.5 参考文献.9 DB41/T 29252025 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专
2、利。本文件的发布机构不承担识别专利的责任。本文件由河南省行政审批和政务信息管理局提出。本文件由河南省大数据标准化技术委员会(HN/TC 26)归口。本文件起草单位:河南警察学院、河南日彤大数据科技有限公司、河南省公安厅、郑州轻工业大学、郑州图悦信息技术有限公司、河南英明电子科技有限公司、郑州宁润信息科技有限公司、济源职业技术学院、郑州云智信安安全技术有限公司。本文件主要起草人:党玉龙、甘琤、甘一彤、刘会霞、许伟昶、刘琦、刘晓阳、常旭辉、骆凯丽、刘兴磊、张楠、邢广东、周帅、董成成、远京辉、许天烨、高燕。DB41/T 29252025 1 异构数据融合技术指南 1 范围 本文件提供了异构数据融合的
3、总体原则、融合表设计、建立、数据导入和应用的指导。本文件适用于跨领域多源异构数据的融合处理分析应用。2 规范性引用文件 本文件没有规范性引用文件。3 术语和定义 下列术语和定义适用于本文件。信息 关于客体(如事物、事实、事件、过程)的知识,在一定的场合中具有特定的意义。来源:GB/T 5271.12020,2.01.01.01,有修改 数据 信息的可再解释的形式化表示,以适用于通信、解释或处理。来源:GB/T 5271.12020,2.01.01.02 异构数据融合 将不同来源、种类、结构的数据,融合到一个数据库表的过程。注:本文件中的异构数据仅限定为结构化数据。4 总体原则 异构数据融合宜遵
4、循以下原则:高效性:能对各类不同的数据高效入库,便于数据分析和应用;贯通性:不同类型的数据,根据其唯一号码、时间、地点等特征,可纵向贯通;扩展性:用户可以结合实际,在本文件的基础上增加、减少或修改字段;时效性:明确数据融合的频率和方式,实现数据的动态更新。5 融合过程 融合表设计 5.1.1 总体设计 DB41/T 29252025 2 将任意客体静态信息(含事物、事实的描述信息、联系信息)或动态信息(事件、过程)以多个字段的形式表示在一条数据中,多条数据组成的融合表可表示不同客体的各类信息,实现异构数据融合。5.1.2 静态信息字段定义 标识号码字段:定义1个“号码”字段,代表不同的人或物(
5、例如人的身份证号、物的唯一编码);再定义1个“关系号码”字段,用以表示和前者标识号码关联的人或物。2个标识号码都填写,即为联系信息。名称字段:定义“号码名称”和“关系名称”字段,对应2个标识号码字段的称呼(例如人的姓名、公司的名称)。数据种类字段:定义“数据种类”字段,表示来自不同源的数据表名称(例如常住人口、法人基本信息)。描述字段:事物本身具备的多个属性,主要是“备注”字段(例如学历是本科/研究生、婚姻登记是结婚/离婚)和“标签”字段(例如精神病患者、工作积极者)。其他描述字段:“数字备注”(数字小数型)、“号码备注”、“号码备注2”。5.1.3 动态信息字段定义 时间字段:定义日期类型的
6、字段“时间”,记录与数据相关的时间点(例如结婚时间、毕业时间);再定义1个日期类型的字段“时间2”,结合前者可记录具有始、末含义的时间(例如飞机起飞和到达时间);额外定义2个字符类型的字段“时间备注”“时间备注2”,记录源库中非日期类型的时间。地点字段:定义2个地点字段“地点”“地点2”,记录与数据相关的地点(例如户籍住址、事件发生地),或者记录具有始、末含义的地点(例如飞机起飞地和到达地)。地理坐标字段:定义字符类型的字段“x”“y”,记录地理坐标经度x/纬度y,根据情况可以度分秒法或十进制法写入。5.1.4 相关字段定义 所有字段名和内容字段:定义“字段名集合”字段,记录本表中所有字段及源
7、表中剩余字段的名称;另定义“字段内容集合”字段,填写与“字段名集合”中一一对应的值。也可将此2字段写入其他表,避免本表体积过大。照片链接字段:存储人/事/物图片的链接地址。上传信息字段:包含“上传时间”(日期型,由系统自动生成当前时间)和“上传人或单位”字段。源表主键字段:记录源表中的主键,便于查找原始数据记录或者数据关联。5.1.5 融合表结构 根据上述设计,形成表结构,见表1。用户可结合实际对字段进行增删改。表1 融合表结构 序号 字段名 字段含义 字段类型 长度 备注 1 zL 数据种类 字符 50 2 mc 号码名称 字符 100 3 hm 号码 字符 100 标识号码 4 gxmc
8、关系名称 字符 100 5 gxhm 关系号码 字符 100 关系标识号码 DB41/T 29252025 3 表1 融合表结构(续)序号 字段名 字段含义 字段类型 长度 备注 6 sj 时间 日期 年月日时分秒 7 sj2 时间2 日期 年月日时分秒 8 dd 地点 字符 200 9 dd2 地点2 字符 200 10 x 坐标经度x 字符 30 可做备注地点或数字备注 11 y 坐标纬度y 字符 30 可做备注地点2或数字备注2 12 bq 标签 字符 200 标签合集,用逗号隔开 13 bz 备注 字符 500 14 szbz 数字备注 数字小数 decimal(38,4)整数、小数均
9、可存储 15 hmbz 号码备注 字符 100 16 hmbz2 号码备注2 字符 100 17 sjbz 时间备注 字符 100 字符型时间,避免因源格式不对致无法入库 18 sjbz2 时间备注2 字符 100 19 zd 字段名集合 字符 2 000 用分开,可另表存储 20 nr 字段内容集合 字符 10 000 用分开,可另表存储 21 zp 照片链接 字符 300 非必要 22 UUID 源表主键 字符 50 非必要 23 sj0 上传时间 日期 24 dd0 上传人或单位 字符 100 融合表建立 融合表可在任何数据库上建立。宜优先采用分布式列式数据库构建融合表,并确保数据库支持
10、智能索引功能(自动为每个字段建立索引)。数据导入 融合表建立后,数据导入操作说明如下:a)将数据库表名(无需写“表”字)填入到“数据种类”字段(zL),将标识号码和其关联的标识号码填入 2 个标识号码字段(hm、gxhm)中,将具有始、末等含义或必用的时间、地点字段,填入到 2 个时间字段(sj、sj2)和 2 个地点字段(dd、dd2)中,以上字段为关键项;b)将未来可能需要结构化 SQL 检索的字段填入到多个描述字段(bz、bq、hmbz 等)中;但并非一定要按字段名称字义填写相应的数据,只要字段类型相符,任何描述数据均可填入,例如:“x”字段原本设计为填写 x 坐标,但如果某表无 x 坐
11、标字段,则此字段可以灵活地转为填写地点,或者其他字段内容;c)将用以说明本表所有字段含义的中文名称,填入到“字段名集合”字段(zd)中,中间用固定分隔符隔开(建议用);将与“字段名集合”字段中一一对应的值填入到“字段内容集合”字段(nr)中,中间用固定分隔符隔开。使用示例详见附录 A。DB41/T 29252025 4 6 融合表应用 在融合表基础上,可进行下述大数据分析应用:a)在融合表中仅需查询 2 个标识号码字段(hm 和 gxhm),即可实现对全部数据种类标识号码的通查;b)对 2 个时间字段(sj、sj2)、2 个地点字段(dd、dd2)进行范围检索,可实现对所有具备开始结束、出发到
12、达含义的时间、地点数据的过滤;c)通过按时间字段(sj)排序,可实现对多源数据表的统一贯通性时间排序;d)对“号码”(hm)和“关系号码”(gxhm)字段进行迭代查询,可实现类似“图数据库”(一种用于存储实体之间关系的数据库类型)的关联关系功能;e)在融合表内以不同时间地点范围的数据集进行一次性关联 join 得出的交集,相当于多个源表数据进行多次关联 join 才能得出的交集。DB41/T 29252025 5 附录A (资料性)异构数据融合示例 A.1 表 A.1 给出了静态信息与描述人的动态信息的数据示例。其中示例 1、2 是静态信息(即描述信息),示例 3、4、5 是描述人的动态信息。
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
5000 积分 0人已下载
| 下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB41 2925-2025 异构数据融合技术指南 2925 2025 数据 融合 技术 指南
麦多课文档分享所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。



GB T 25603-2010 土方机械 水平定向钻机 术语.pdf

