大数据平台方案设计.doc

《大数据平台方案设计.doc》由会员分享，可在线阅读，更多相关《大数据平台方案设计.doc（153页珍藏版）》请在麦多课文档分享上搜索。

1、1 项目技术方案 大数据平台方案设计 1.1 需求分析 1.1.1 采购范围与基本要求 建设 XX 高新区 开发区智慧园区的人口库 （ 12 万居民） 、法人库 (1200 家企业 )、地理信息库 (已建设区域 35 平方公里的 3 维电子地图、未建设区域 80 平方公里的航拍电子地图 )、视频库 (1000 个摄像点 )、大数据处理平台、 数据管理服务平台 。 1.1.2 建设内容要求 1.1.2.1 人口库 人口库 的 基本信息以公安部门户籍和暂住人口信息为 基础 ，整合人社、计生、民政、教育等多个部门信息资源，建设统一规范的人口库和人口信息服务平台 。 (1)人口库的内容目录 序号 信息

2、目录 (一级 ) 信息目录（二级） 可能的 信息源单位 1 人口基本信息 人员信息（常驻） 公安局 2 人员信息（暂住） 3 户籍成员信息 4 死亡信息 5 人员车辆信息 驾驶人员信息 公安局（交警系统） 6 机动车信息 7 电动车信息 8 社居民区服务信息 房主信息 房管局、村（居）委会 9 房屋变动信息 10 社区党建信息 党员信息 组织 人社局、 村（居）委会 11 培养党员信息 12 党员流入信息 13 党员流出信息 14 社居民区服务信息 准生证信息 社会发展局 15 婚前检查信息 16 孕前检查信息 17 婚育证信息 18 节育手术信息 19 计生处罚信息 2 序号 信息目录 (一

3、级 ) 信息目录（二级） 可能的 信息源单位 20 卫生信息 社区卫生服务机构信息 社会发展局 21 医疗机构信息 22 医疗资源信息 23 卫生许可信息 24 民政信息 社会组织信息 社会发展局 25 区域地名信息 26 最低保障收入人员信息 27 精准扶贫对象信息 村居管理委员会 28 社保基本信息 单位信息 组织人社局 29 参保人员信息 30 养老保险信息 退休待遇信息 31 转移人员信息 32 失业信息 失业登记和失业保险信息 33 医疗信息 城镇职工基本医疗保险账户信息 34 门慢信息 35 定点医疗机构和定点零售药店信息 36 工伤信息 伤残认定信息 37 劳动能力鉴定信息 38

4、 工伤待遇信息 (2)人口信息 服务平台功能需求 数据库层： 能够安全 存储人口库 的内容目录中列出的信息内容， 对 居 民、企业 、政府 提供 安全的 人口信息服务 ，为人口 大数据 分析提供基本数据源。 应用支撑层：包括门户框架、数据库维护、报表组件 、数据挖掘 等，用于为应用层提供应用支撑。数据挖掘提供常见的数据分析 /挖掘工具、通用算法，利用大数据平台的计算能力进行分析，对人口库数据进行数据挖掘 与发现 ，提供有价值的分析结果。 应用层：包括人口信息服务、人口 专题 分析、公共服务 等 。 1.1.2.2 法人库 法人库 以 工商部门的企业信息为基础 ， 整合各参建部门系统中的法人信息

5、，如机构代码、机构名称、机构类型、经济行业、业务经营范围、机构地址、法定代表人等字段信息，建成标识统一、结构科学、查询快捷、动态管理的法人信息库。制定与交换平台对应的相关标准、制度和规范管理体系，实现工商局、地税局、国税3 局、质量技术监督局等法人数据相关业务部门之间的网络互联和业务数据的实时交换与应用。 (1)法人库的内容目录 序号 信息目录 (一级 ) 信息目录（二级） 可能的 信息源单位 1 企业基本信息 股东 (投资者 )信息 工商质监局，企业 2 法人信息 3 地址与联系信息 4 工商 注册 信息 工商登记信息 工商质监局 5 工商变更信息 6 工商注销信息 7 工商吊销信息 8 税

6、务 信息 税务登记信息 税务局 9 税务注销信息 10 税务登记验换证信息 11 企业发票信息 12 企业经营信息 组织架构 企业 13 发展战略 14 品牌 15 产品与服务信息 16 人力资源信息 17 高端技术和设备 18 财务报表 19 资质信息 20 信用信息 21 荣誉信息 22 文化 23 违规处罚等不良信息 (2)法人信息服务平台功能需求 数据库层： 能够安全 存储 法人 库 的内容目录中列出的信息内容， 对 居 民、企业 、政府 提供 安全的法人 信息服务 ，为法人 大数据 分析提供基本数据源。 应用支撑层：包括门户框架、数据库维护、 统计与 报表组件 、数据挖掘 等，用于为

7、应用层提供应用支撑。数据挖掘提供常见的数据分析 /挖掘工具、通用算法，利用大数据平台的计算能力进行分析，对 法人 库数据进行数据挖掘 与发现 ，提供有价值的分析结果。 应用层：包括 法人 信息服务、 法人专题 分析、公共服务 等 。 4 1.1.2.3 地理信息库 以国土资源部空间地理数据框架作为基础，采用分布式存储并行计算的技术思路统一搭建地理信息库，再与智慧园区建设涉及的各类专题图层进行融合、关联，实现统一共享，逐渐形成 XX 高新区 权威、丰富的地理信息数据库。要求根据不同信息资源类别，提供数据库表结构设计。 地理信息库维护文件主要提供地图基本操作、地图测量、图层控制、空间分析等信息服务

8、功能。 地理信息库配置一套高性能 GIS 工具软件，基于高性能云 GIS 平台搭建，实现空间数据的统一管理，完成空间数据检查、转换、入库、管理、制图显示、服务发布等一系列空间数据分析处理功能。 (1)地理信息库的内容目录 序号 信息目录 (一级 ) 信息目录（二级） 可能的 信息源单位 1 电子地图数据 三维电子地图：已建设区域 30 平方公里 国土资源部、中标单位测量 航拍电子地图：未建设区域 60 平方公里 2 地理实体数据 建筑、道路、水系、绿地、农田等 国土资源部、中标单位测量 3 三维模型数据 已建设区域 30 平方公里，分等级实现重点城区精细三维模型数据和其它地区简易模型数据 中标

9、单位测量、建设 4 城市部件数据 路灯、交通灯、屏显、导示牌、标志性行道树、线缆、地下管网等 城管等部门 5 规划数据 规划用地数据 规划局 6 POI 数据 企业 (项目 )数据 规划局、办公室等 (2)地理信息库管理平台功能需求 数据处理：格式转换、坐标转换、属性编辑、数据裁切。 数据质检：矢量数据检查、栅格数据检查、三维模型数据检查、元数据检查。 入库更新：矢量数据入库、影像数据入库、三维模型数据入库、元数据入库。 数据输出：矢量数据提取、栅格数据提取。 查询浏览：地图浏览、数据加载、 SQL 查询、空间查询、数据对比浏览、元数据查询。 历史数据管理：历史版本数据比较、版本数据提取。 系

10、统管理：权限管理、日志管理、备份恢复。 5 1.1.2.4 视频库 (1)视频库的内容目录 序号 信息目录 (一级 ) 信息目录（二级） 可能的 信息源单位 1 视频 视频目录 视频监控系统 数字摄像装置 视频文件 2 视频特征 视频特征文件 (2)视频库管理平台功能需求 与视频监控系统的接口、视频入库、视频目录管理、视频文件管理、视频特征文件生成、视频检索、视频异常发现等。 1.1.2.5 大数据处理平台 (1)大数据基础平台 提供基础管控、基础服务的大数据基础支撑功能。大数据基础平台要充分利用目前先进的大数据处理技术，保证系统技术的前瞻性和先进性。大数据基础平台要求提供海量 数据 的采集、

11、 存储、 计算、接口服务能力；需要满足海量、异构的大数据的存储、共享、 开放 及分析挖掘方面的要求；需要采用主流的大数据的技术架构，全面满足结构化数据、半构化数据及非结构化数据的存储、处理及计算要求；提供多种 数据采集 工具，支持多种格式数据采集；提供接口服务，供二次开发应用等。 大数据基础平台要求能够管理大数据中心集群的物理服务器资源，控制分布式程序运行，隐 藏下层故障恢复和数据冗余等细节，为大数据处理平台提供统一的管理、监控、维护 等日常管理功能 。主要包括：资源管理、安全管理、运维管理、集群部署及监控、任务调度等功能，同时配备 友好的管理界面 。 数据采集要求 大数据处理平台数据主要来自

12、数据资源中心，包括 基础 库 (人口库、法人库、地理信息库、视频库 )数据 、主题 库 (业务数据库 )数据和互联网数据，同时也支持其他外部系统数据来源。数据采集系统要求提供多种 数据采集 工具，支持多种格式数据采集。对于结构化数据、非结构化数据以及网络数据采用不同的采集 工具进行数据导入。支持多种数据采集方式，比如 ETL、 FTP、文件导入导出、关系数据库数据等。 分布式存储要求 平台能够根据结构化数据和非结构数据的不同特点，分别提供数据仓库和分布式列式数据库存储服务，底层支撑技术支持 分布式文件系统，所有的数据 可以形成6 多份副本均匀 分布存储在各个服务节点 的存储 上 ，保证数据可靠

13、性和提高读写效率。 大数据计算引擎要求 离线计算引擎 （ Mapreduce）：离线分布式计算作为一个海量结构化数据离线处理与分析服务，着力于实时性要求不高的海量数据（ TB/PB 级别）离线处理。支持 并行化、容错、数据分布、负载均衡 。离线计算引擎需要具有 PB 级的存储处理能力和计算吞吐能力，支持多应用多实例并发同时计算并隔离应用数据和程序的能力。 支持 Mapreduce 等 批量数据分布式计算框架。 支持分布式内存计算框架。 支持 作业查询预处理调度算法 ，可 根据业务属性对指定的多个队列按照优先级的配置进行任务的提交 。 具备高可靠性，支持主控节点双机，避免单点故障不可恢复。 具备

14、 高度可扩展 ， 可动态增加 /削减计算节点，真正实现弹性计算。 支持 离线计算组件 界面配置化 ，可以对 配置进行查看和修改， 并 立刻生效 。 支持离线计算组件性能指标界面可视化，通过界面实时监控组件性能指标。 支持多租户权限管理能力，支持不同用户之间的资源隔离。 支持多应用多实例并发同时计算并隔离应用数据和程序的能力。 内存计算引擎 （ Spark）：基于内存的 迭代计算 框架，适用于需要多次操作特定数据集的应用场合。由于中间输出和结果可以保存在内存中，从而不再需 要读写分布式文件系统，能更好地适用于数据挖掘与机器学习等需要迭代的算法。 支持 作业查询预处理调度算法 ， 可以根据业务属性

15、对指定的多个队列按照优先级的配置进行任务的提交 。 支持 审计日志可查询 ， 在 管理运维 的界面中可以进行 内存计算引擎 日志的查询 。 支持 相关存储目录规整 ， 对 内存计算引擎 的数据目录进行规整，修改默认配置，并提供界面上的修改配置的地方 。 支持 配置界面化 ， 能够在 管理运维 界面上对 内存计算引擎 的配置进行查看和修改，并能够同步到前台立刻生效 。 支持通过界面展示性能指标 ， 能够在界面上查看 内存计算引擎 的性能指标数据 。 支持 on Yarn 等 方式 ， 在 管理运维界面 上安装服务，可以在安装的时候，选择On Yarn 等 的方式安装 。 7 支持内存计算引擎的

16、Master 的 HA 等 ， 可以对 内存计算引擎 的 master 角色进行HA 等 部署，以保证该节点的高可用性。 实时计算引擎 （ 例如 spark streaming、 Storm）：实时分布式 计算 需要提供 大吞吐量的 实时 流式数据处理 。要求 保证高可靠性的前提下让 数据 处理更加实时 ， 具备低延时、 容错和分布计算 特性。采用分布式计算框架提供实时计算服务，可按需扩容。支持高并发低延时的数据处理。 计算引擎：支持 SPARK STREAMING 等 实时计算框架、 STORM 分布式流式计算框架两种计算框架功能。 支持对流数据的处理，数据 可以 建立关联处理 。 高效处理

17、数据：支持消息的分流、合流、聚合的消息处理 。 数据按业务分析 ， 可支持不同的应用接入，并对应不同的应用输出计算结果 。 事件监测：对数据处理低延时，满足事件监控等实时性要求很高的场景 。 具备高可靠性，支持主控节点双机，具备自动容错能力，避免单点故障不可恢复。 支持 实时计算组件 界面配置化 ，可以对 配置进行查看和修改， 配置修改 立刻生效 。 支持实时计算组件性能指标界面可视化，通过界面实时监控实时计算组件性能指标。 全文搜索引擎 （ 例如 solr） 提供丰富的查询语言，同时实现可配置、可扩展并对查询性能进行优化，提供一个完善的功能管理界面。可以实现集中式的配置信息、自动容错、查询时

18、自动负载均衡、自动分发的索引和索引分片和事务日志等多种特色功能。 可以对搜索引擎集合进行快照，可以周期、 定时创建集合快照，对索引数据进行备份。 提供搜索引擎数据 切换 自动化工具，一键式操作实现搜索引擎数据从一个集群切换 到另外一个集群，安全可靠。 提供搜索引擎节点扩容数据重分布自动化工具，搜索引擎节点扩容后数据均匀的重分布到新增节点上，负载均匀的分担到各节点上。 支持搜索引擎服务自动拉起功能，提高可靠性。除管理平台界面手工停止服务8 之外的异常服务停止后都会自动拉起，保证服务连续可用。 资源管理（ 例如 yarn） 资源管理要求能够实现调度和分配集群的内存和计算等资源给上层应用和服务，能够

19、管理运行在集群节点上的任务的生命周期和资源使用，提供静态资源池和动态资源池功能。在多用户运行环境中，能够支持计算额度和访问控制，作业优先级和资源抢占，达到在保障公平的前提下，有效地共享集群资源。支持 VIP 队列管理，支持根据业务需要指定作业在指定的计算节点上运行，隔离重点任务和普通任务，保障重点任务的物理资源。要求给出详细的设计方案。资源管理 能够面向海量数据处理和大规模计算类型的复杂应用提供统一的资源管理和调度。提供通用的并行计算框架， 要求兼容批量分布式计算 、 内存分布式计算 、流式计算 等多种编程模式。具备高可扩展性，支持作业定点调度，支持优先级高的作业优先分配到资源。 能够自动检测

20、故障和系统热点，重试失败任务，保证作业稳定可靠运行完成。 支持作业定点调度 ， 指定作业在哪些主机上运行，隔离重点任务和普通任务 。 支持 队列增加优先级属性 ， 优先级高的作业优先分配到资源 。 支持 白名单功能 ， 限制客户端向集群的 resourcemanager 提交作业 。 支持 提交权限 ， 限制无权用户提交作业并运行 。 支持 队列属性修改图形化 ， 在图形化界面中配置新增、修改、删除队列属 性 。 支持 队列属性增加 “ 最大作业提交数 ” 属性 ， 在图形化界面中新增 “ 最大作业提交数 ” 属性可配置 分布式协作服务（ 例如 Zookeeper） 分布式协作服务 提供分布式

21、 、高可用 的协作服务，可以用来构建分布式应用。它能为 分布式文件系统 、 分布式列式数据库 、 离线计算 、 资源管理与调度 、 数据仓库 等 大数据 组件提供重要的功能支撑。在分布式应用中，通常需要 分布式协作服务来提供可靠的、可扩展的、分布式的、可配置的协调机制来统一各系统的状态。 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 安全管理 安全管理能够提供以用户为单位的身份认证和授权，能够对集群数据资源和服务进行访问控制，包括系统用户、应用用户的身份和权限管理，日志管理等。 9 运维管理 主机管理 ：可以对 已经添加的主机及其运行状态 进行查询 ，可以对单

22、台主机进行全面监控 。通过在已添加主机安装代理，支持通过代理访问计算集群提供相关组件服务和操作。要求给出详细的设计方案。 服务管理 ： 对 大数据平台包含的各个组件服务提供 的管理界面，可对 各组件 运行状态进行监控，可执行启、停操作； 除手动停止服务外，系统监测到服务异常终止时可以自动拉起服务，并可以根据需要打开或关闭自动拉起开关。 可对具体角色实例进行管理 。为避免应用之间在申请组件服务时相互干扰，提升应用的健壮性和可靠性，应支持相同组件的服务既共享物理资源，又相互独立。要求给出详细的设计方案。 告警管理 ：告警管理功能包括告警查看、阀值设置。监控系统各类异常，在管理界面上实时呈现。支持集

23、群内不同节点差异化告警阈值设置。 系统管理 ：包括系统配置、巡检、备份。其中，系统配置包含 版本设置 和 SNMP设置 。巡检功能 需要支持自动巡检和手动巡检两种方式。提供备份功能，包含快照和集群间备份。支持服务日志级别动态调整，支持组件配置项快速查找功能，并且用户可以根据需要新增自定义组件配置项。 展现界面设计 详细展示大数据平台的运行情况。界面展示内容 包括 主页界面、集群界面、主机管理界面、告警管理界面、安装界面、系统管理界面、日志界面、安全界面等。 主页界面 ： 可以整体查看集群的整体运行状况，包括主机、服务等资源的数量、在线情况；运行负载情况；以及告警信息。 集群界面 ：包含服务管理

24、、静态资源池、动态资源池等；其中，服务管理界面提供对大数据平台各组件 运行状态进行监控，可执行启、停操作； 静态资源池界面和动态资源池界面可对根据服务状态对 资源进行 静态和动态 调整 。 主机界面 ： 可以查询已添加的主机及其运行状态， 也可 对单台主机进行全面监控。 告警界面 ：主要包含告警查看和阀值设置。 安装界面 ：包括安装集群、安装主机、安装服务、机架管理、升级服务、升级主机。 10 系统管理界面 ：包含巡检报告、开关设置、版本设置等内容。 日志界面 ：分为操作日志、系统日志、安全日志。可以 按照查询条件对日志进行查询 操作，并可对 日志可以进行分类、删除、过滤、导出 。 安全界面

25、：包含部门管理、用户管理、角色管理等。 集群部署及监控 集群部署与监控能够提供整个云操作系统以及上层应用服务的部署、配置管理以及服务的自检和自举。 集群部署： 支持自动化的安装部署，使用工具进行自动安装，简单快捷。 主要功能包括：集群安装、主机安装、服务安装、服务升级、主机升级、机架管理。 运行监控： 可以整体查看 大数据 集群的整体运行状况 。 包括主机、服务等资源的数量、在线情况；运行负载情况；以及告警信息。 同时监控大数据平台 各组件运行状态、硬件资源占用情况（硬盘、 CPU、内存等）等，如果被监控对象出现异常情况，监控系统就会在相关管理告警页面发出告警通知。 (2)大数据多维分析查询系

26、统 总体要求 大数据多维查询系统 要求 提供超大数据规模数据查询，支持 PB 级数据量。 针对海量数据可以进行任意维度的密集计算与检索 , 支持建立 OLAP Cube,提供 MOLAP 能力。 支持高并发 、 低延时的在线数据应用系统， 能够 提供高并发的实时计算 查询 服务 , 对于百亿行级别的数据可在亚秒级时间返回查询结果。大数据多维查询系统主要 面向传统架构中 OLAP（联机分析处理）数据访问场景，利用多维分析技术， 针对特定分析主题，设计多种可能的观察方式，设计相应的分析主题结构，使用户在多维模型基础上进行快速、稳定、交互式访问，以达到复杂分析和数据预测的作用 ，实现实时联机分析处理

27、的效果，面向高并发、海量、低延时的业务场景。 创建数据模型 系统能够根据维度和指标的要求，从现有的数据表中选择可对应维度或指标的字段，将这些字段的信息分别保存在维度表和度量表中。 支持层级维度、联合维度、可推导维度等维度降维优化技术 。根据业务的聚合需求，支持定义度量的聚合形式，包括 SUM、 MIN、 MAX、 COUNT、 COUNT_DISTINCT 等。可定义 分区类型、分区列和开始日期 等，以支持 采用增量构建方式对 Cube 进行构建 。 11 分析查询处理 系统能够根据维度指标定义及关联关系，提供多维数据的分析查询处理，在查询过程中能够分别根据上钻、下钻、切片、切块、旋转、 TO

28、PN 等操作进行相应的处理。 支持 web 页面向导式模型构建及任务监控。 支持 ANSI SQL 查询 标准，对外 提供标准的 ODBC、 JDBC 驱动及 REST API 接口 。 (3)大数据智能分析系统 总体要求 大数据智能分析系统提供各类数据的融合与共享服务，要求集成丰富的数据挖掘算法，能够对海量数据提供高效的分析和计算。数据分析挖掘引擎支持并行化统计算法和机器学习基础算法库，支持的并行化基础算法，能够处理大数据集。 算法库 大数据智能分析平台，需集成丰富的机器学习、数据挖掘算法，包括但不限于分类、预测与回归、聚类、降维、推荐 /协同过滤、相似度等算法，支持对海量数据进行高效的分析

29、和计算，支持图计算和图 挖掘，支持用户扩展算法库。 聚类分析 ：集成常用的聚类分析算法对数据进行抽象的分组分类。 分类分析 ：在设定好的分类之中，对数据进行归类。 关联分析 ：集成常用关联分析算法，对数据之间的关联关系进行分析，得出不同数据之间的关联关系。 回归分析 ：集成常用回归分析算法。 特征分析 ：集成常用特征分析算法，挖掘数据潜在的特征。 图 挖掘 ：基于图 和图并行计算 框架提供图挖掘 工具 ，主要包含：连通图、最短路径、三角关系计数、社区关系。 智能分析系统 数据准备 ：通过对业务需求分析， 搜索所有与业务对象有关的内部和外部数据信息，从中选择出适用于数据挖掘应用的数据 ， 并 进

30、行数据预处理。数据预处理可以加快分析过程，提高分析结果的精度，针对不同的数据类型缺失值的处理各不相同，需要结合业务场景。 数据探索 ：通过统计分析和关联分析等手段，能够深入挖掘多源多维数据之间12 的关联性，从不同的维度分析数据，加深对数据的理解，提取可能对业务结果相关的影响因子，探索发掘数据的内在规律特征， 为分析模型对业务进行定量与定性的结合分析 。 数据构建 ：根据数据源类型、业务要求建立对应的数据模型。通过 分类 、 聚类 、关联、回归、 特征分析 等 机器学习算法和 分析方法 ， 对海量多样化数据进行 进行模型构建和数据分析挖掘。数据模型的设计包括设计和准备数据源，数据的处理，选取和

31、设计数据算法。数据模型的建立是一个预定义、评估、优化的过程。 模型评估 ：利用评估算法对模型进行评估，评估数据分析结果的合理性、合法性，评价模型的优劣。根据分析结果及时调整和优化数据模型，如果结果不符合预期，需要调整参数进行机器学习，重新估算。 可视化智能分析工具 ：要求提供可视化智能分析工具，加速数据分析模型设计。可视化智能分析套件为数据分析提供直观的图形化用户界面， 用于设计 分析流程 。实现完整的建模步骤，从数据加载、汇集、到转化和准备阶段，再到数据分析和产生预测阶段。 1.1.2.6 数据管理服务平台 数据管理服务平台是一个管理、展现平台，主要包括：数据治理与监控系统、数据服务集成管理

32、系统和大数据展现门户等。 (1)数据治理与监控系统 数据治理与监控系统是一个 数据 治理和数据监控的综合管理系统，对数据资源中心和大数据处理平台两大部分数据进行治理和管控。数据治理按照数据全生命周期来管理，要求包含： 数据源管理 、数据质量管理、数据地图管理、数据血缘管理、数据安全管理和元数据管理等；数据监控与数据治理相辅相成，实现对数据资源的全程 监控 ，包括：全局数据监控、 部门数据 监控 、 数据 存储 使用监控和数据异常监控等内容。 数据标准管理 术语标准管理： 包括限定词、同义词、术语等信息库的管理。 元数据管理：元数据记录了数据源的结构信息，有了元数据才能对数据源进行各种操作，元数

33、据管理需要提供对各数据源的元数据进行注册，加载，查看等功能。 数据源管理：数据源管理包括：基础环境的管理、标准编码管理等。 13 基 础环境管理：基础环境配置管理用于进行一些基础信息的配置，包括：源、目标数据源的配置、标准数据库表结构配置及其编码表的配置等。 标准编码表管理 用于对数据中心数据涉及的编码表及其编码项进行定义。 数据处理管理 提供完善的数据处理功能，如数据清洗、数据比对、数据加载、数据转换、数据共享等功能。 数据规则与质量管理 数据质量监控是根据预设的规则来检测数据中的质量问题，检测规则可自主配置，也可以自主编写规则表达式。数据质量监控与系统调度关联使用，发现脏数据，避免错误的数

34、据流入下游应用。 数据地图 数据全局视图：展示从外部源到内部库，到输出数据库的数据整体流向，展示类别数目、库数目、表数目、分别统计库、表、字段、作业、任务等数量。从表数目和数据存储量的角度展示数据库中按月度变化的动态信息，以直观的图形化进行动态展示。并且可以区分不同部门进行统计。 数据动态分布：从表数目和数据存储量的角度展示数据仓库中按月度变化的动态信息，以直观的图形化进行动态展示。并且可以区分不同部门或者租户进行统计。 数据血缘：数据血缘以历史事实的方式记录每项数据的来源，处理过程，应用对接情况等，记录了数据表在治理过程中的全链血缘关系。数据血缘就是通过对数据处理的全过程追踪，找到以某个数据

35、对象为起点的所有与该对象相关的元数据和它们之间关系的一种技术手段。 (2)数据服务集成管理系统 搭建基于企业服务总线 （ ESB） 的服务集成管理系统，构建数据服务的统一 通信通道 ， 即使在协议不同、格式 不同、标准不同的情况下， 服务 与对接服务之间都可以实现交互通信，传递消息， 以便实现服务集成管理 目标 ， 从而实现各类数据服务的统一管理 ， 面向政府用于 、 企业 、 公众 、开发者， 提供便捷的数据服务 。具体包括： 服务注册与发布 提供服务定义、注册、审核和发布功能，发布前可以对服务的配置参数进行审14 核与修改，配置通道，发布后，自动生成 /更新对应服务的配置文件（如 WSDL

36、），连同服务参数配置，更新至服务目录中；提供对注册 /发布服务的连通性测试； 服务生命周期管理 提供服务的注册、变更、下线的申请、审核、复核功能，检查和确认服务状态以执行变更、下线；根据服务优化管理中的服务拓扑分析，调整服务层级分类或整合服务，以实现优化；提供服务版本的管理； 流程管理 支持服务申请、服务变更、服务下线等服务生命周期管理中相关流程的管理功能； 服务目录管理 提供服务目录的浏览和检索；提供服务目录 /服务定义 /服务状态的查询和管理，包括权限的过滤和管理； 接入系统管理 设置和管理服务请求方和接入请求系统的映射关系；设置和管理服务提供方和接入服务系统的映射关系；设置和管理服务请求

37、方、服务提供方在服务治理系统的用户映射关系； 接口数据管理 提供数据字典的定义和管理，提供服务方法接口和数据字典字段的映射关系设置。 (3)大数据展现门户 大数据 展现 门户是 智慧园区 大数据中心 对外服务窗口，门户包括两个方面：政务数据资源门户（内部数据门户）和公众数据门户（外部数据门户）。 政务数据资源门户作为大数据管理部门信息发布和资源服务的总管理入口，为各级政府部 门 提 供信息资源展示、在线信息服务、信息检索、系统集成访问等功能。另外，针对系统管理员、各级领导、政务用户的不同应用需求，提供个性化工作台。 公众数据门户提供政务部门可公开各类数据的下载与服务，为企业和个人开展政务信息资

38、源的社会化开发利用提供数据支撑，推动信息资源增值服务业的发展以及相关数据分析与研究工作的开展。 政务数据资源门户 15 门户基本管理：政务数据资源门户主要是提供政务大数据中心数据成果的展示和应用访问入口的应用 集成 。提供单点登录、访问权限管理，后台内容管理等功能。 在线查询 服务 :针对政务数据中心，开发高效率的在线查询服务。人口信息、法人信息、宏观经济、信用信息等面向政府部门提供信息服务，空间地理信息服务包括地图基本操作、地图测量、图层控制、空间分析以及相关数据融合等信息服务功能。 信息资源 综合展示 ： 能通过可视化的方式展示区域内信息资源的全景，即：部门信息资源的分布情况，需求情况、使

39、用情况，需要按照不同视角进行呈现，要求包含但不限于：资产总体视图、组织机构 视角 、服务对象 视角 、信息资源 视角 、协同主题 视角 。 用户交流模块 ： 为 用户 提供 交流的手段，每个授权用户都可以在 交流板块 上提出问题、见解或者是进行讨论 ，针对交流的问题可以选择是否公开 。 用户帮助模块 ： 为 用户 提供平台 功能及其操作方法 的介绍和帮助说明 ，使各级用户尽快掌握使用方法。 公众数据门户 为了实现政务数据对社会的开放，带动大数据产业发展，利用政务大数据促进信息产业创业创新，建设数据对外开放的门户，实现政务大数据的对外开放。针对公众数据门户将要充分利用政府门户网站，在现有的门户网

40、站上开辟一个政务数据开放的入口，点击后即可进入公众数据门户。公众数据门户的主要功能有：资源目录、数据开放接口、 APP 应用、互动交流等。 资源目录 ： 社会公众可以通过资源目录查找到需要的数据，找到相应数据的获取方式，数据可以是通过下载方式获取也可以通过数据接口的方式获取，无论哪种方式都需要用户注册认证后才可以获取。用户可以通过数据资源主题的方式查找，也可以用户数据来源各部门的方式查找。 数据开放接口 ： 用户可以通过此功能查找到可以调用的数据接口，并可以查找到数据接口的调用方式 、 说明文档 、 代码示例等相关内容，通过功能应用开发人员可以方便的通过数据接口获取所需要的数据。 互动交流：互

41、动交流功能是网站用户与网站管理人员进行互动交流的 模块，在这里网站管理人员可以将网站的使用说明和一些常遇到的问题及解决方法公布出来，16 网站管理人员也可以在此公布调查问卷，征求普通用户的意见。同时，普通用户也可以在这里提出自己的疑问，让管理人员进行解答。 1.2 设计方案 1.2.1 总体平台设计 1.2.1.1 总体架构 智慧 园区 大 数据平台的核心是建立面向宏观经济发展、社会公共服务的数 据库和数据服务。总体架构由支撑体系（标准规范支撑体系、管理运行维护支撑体系、安全支撑体系）、网络系统、信息共享平台软硬件系统环境、数据库体系（中心交换库、基础数据库、主题库、发布库、宏观经济数据库管理

42、系统、元数据库系统）、应用系统（数据交换处理系统、应用支撑系统、数据综合分析系统）组成。 图 大数 据平台总体架构图 信息共享平台通过网络收集统计系统和各共建部门的信息资源，并有效地将这些信息资源进行分类整理，实现跨部门、跨行业的宏观经济管理信息共享，并向用户提供数据服务； 17 数据库体系：由元数据控制，实现数据的交换、存储和发布，整合共建单位现有信息资源，构建主题库和发布库，为数据服务提供支持。 1.2.1.2 体系结构图 智慧 园区 公共基础数据库信息共享平台划分为工作（生产）区、发布（共享）区和互联网信息发布区。在工作（生产）区构建宏观经济数据的采集、整合、处理和存储系统；在发布（共享

43、）区构建宏观经济数据的发布与共享、存储与备份和专网门户系统等环境支撑系统；在互联网信息发布区构建互联网门户系统，为社会公众提供宏观经济信息服务。如下图表所示： 图 园区大数据平台体系结构图 1.2.1.3 总体流程图 智慧 园区 大 数据平台采用在线填报、数据库对接和基于消息的数据交换三种采集方式，集中采集、整合、存储各共建部门指标数据。中心交换数据库存储各共建部门交换来的原貌数据，基础数据库是对原貌数据进行审核转换和加工而成，是主题数据库和发布库构成的基础。元数据库对数据的采集交换、整合、存储、分析和发布全过程进行定义和约束。专网和互联网的用户可通过门户系统，分别对发布（共享）区和互联网信息

44、发布区的数据进行访问。 智慧 园区 大 数据平台总体流程图如下： 市统计局若干个委办局18 图 园区大数据平台总体流程图 1.2.2 人口 基础数据 库 设计 在没有数据标准的情况下，人口基础数据库数据中心对同一个数据字段可以从多个数据来源采集数据。如：婚姻状态字段可以从计生部门和公安部门采集。对于同一个数据字段，中心对于该数据字段保存多个来源的版本。人口基础数据管理系统提供工具、服务来展现数据的不一致性，数据管理员根据工作制度，对数据字段进行电话等多种手段核实字段的真实数值。中心通过数据交换系统以数据服务的方式从各业务部门采集数据，保存到公共数据缓存库，使用人口基础数据管理维护系统进行数据比

45、对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时，数据将 由公共数据缓存库转存到人口基础数据发布库中，并通过数据交换系19 统以订阅 /发布的方式提供给各业务部门使用。 人口基础数据管理系统维护一个面向对象的公共数据模型，公共数据模型是公共数据标准规范的实现。公共数据维护系统控制着公共数据的输入和输出，为数据质量把关。人口基础信息综合查询系统采用 B/S 结构，客户端采用浏览器，用户界面是实现不同功能的网页。 综合查询系统的操作页面要求易于使用，使用户能够方便快捷的对网页提供的各项功能进行操作。采用菜单树的方式展开系统的功能。 人口基础信息综合查询系统可以有针对性地，按照用户

46、授权的不同，为不同用户提供不同层次的人口资源公共查询服务。 人口基础信息功能如下图所示。 人 口 基础数据库管理应用系统功能模块列表： 编号 一级模块 二级模块 三模块 1 系统管理 用户角色管理 系统帐户管理 2 角色信息管理 3 部门帐户管理 公安帐户管理 4 社保帐户管理 5 卫生帐户管理 6 计生帐户管理 7 民政帐户管理 8 系统监控管理 系统日志管理 9 系统网络布局 10 部门交换频率 11 接收处理 接收数据查看 接收公安数据 20 编号 一级模块 二级模块 三模块 12 接收社保数据 13 接收卫生数据 14 接收计生数据 15 接收民政信息 16 清洗比对管理 清洗规则管理

47、 17 比对规则管理 18 清洗比对结果 清洗结果查看 19 比对结果查看 20 手工比对历史 21 手工比对管理 手工比对信息 22 手工比对历史 23 反馈信息查看 反馈信息列表 24 授权管理 数据授权管理 申请查看授权 25 查看授权申请 26 数据交换申请 数据交换申请 27 交换申请列表 28 交换审批列表 29 信息服务 人口信息服务 人口信息查询 30 人口码表信息 人口码表信息 31 人口共享指标 可共享指标 32 统计分析 基础信息统计 人口性别统计 33 人口年龄统计 34 人口文化程度 35 人口民族统计 36 地区分布统计 地区人口统计 37 人员参保分析 社保人员情

48、况 38 参合人员情况 39 计划生育分析 地区育龄分布 21 编号 一级模块 二级模块 三模块 40 育龄妇女比例 1.2.2.1 数据接收服务 接收数据的查询是针对各部门交换汇总的信息，进行以部门为单位的信息查询。通过查询工作，可以了解各部门实际提交的信息情况，并实现信息详查和统计工作。系统提供了按部门查询的查询方式。 1.2.2.2 中心数据查询 人口中心数据，就是经过数据比对梳理完成的人口基础信息。针对人口信息量大，涵盖范围广、内容繁杂的特点，在人口基础信息中心数据库设计中，采用信息扩展和关联的方法，逐级分领域和部门展示人口基础信息和扩展信息。如下图所示。 22 图 人口基础信息关联设

49、计 系统根据部门需求进行查询分类，各部门根据本部门业务相关信息进行检索。如公安 部门可根据身份证号、姓名、性别、民族为检索条件，进行基本信息的查询；可根据姓名、暂住证号、身份证号为检索条件，进行暂住人口信息的查询操作。 其他部门检索与查询操作类似。 1.2.2.3 决策支持子系统 决策支持子系统是根据业务需要，基于人口基础信息，进行数据挖掘，实现统23 计报表操作，为领导决策提供快速的报表支持。查询列表如下图所示。 图 决策支持子系统查询列表 1.2.2.4 授权管理 授权管理，就是提供信息需求部门申请查询授权，信息提供部门审批授权的功能。 申请部门选择对应的信息表，向信源部门提出申请；信源部门根据业务规则，对申请部门提供授权或不授权，此外，授权功能提供时限控制和授权使用次数控制。 1.2.2.5 数据清洗比对管理 数据比对系统通过数据比对引擎，实现对人口基础信息的比对工作。 依据的业务需要，数据比对包括比对操作，各部门数据的过滤查询，各部门信息比对入库结果查询。人口基础信息的比对，依据其特点，采用自动比对和人工参与比对结合的方式，实现基础信息的比对功能。 数据过滤查询是针对部门提交的数据，进行梳理过滤与清洗，得出的清洗出的问题数据进行查询操作。 与数据过滤