数据交换平台设计方案.doc
《数据交换平台设计方案.doc》由会员分享,可在线阅读,更多相关《数据交换平台设计方案.doc(48页珍藏版)》请在麦多课文档分享上搜索。
1、 信息交换平台 设计方案 2 目录 1. 项目背景 . 4 1.1. 概述 . 4 1.2. 现状分析 . 4 1.3. 需求描述 . 5 2. 目标与原则 . 6 2.1. 建设目标 . 6 2.2. 建设原则 . 7 2.3. 定义与约束 . 7 3. 建设内容与依据 . 8 3.1. 建设内容 . 8 3.2. 建设依据 . 9 4. 技术路线 . 9 4.1. 技术架构 . 9 4.2. 应用架构 . 15 5. 系统功能 . 18 5.1. 功能划分 . 18 5.2. 系统管理 . 21 5.2.1. 运行环境配置 . 21 5.2.2. 系统注册 . 22 5.2.3. 目录 服
2、务 . 23 5.2.3.1. 类别维护 . 25 5.2.3.2. 元数据维护 . 27 5.2.3.3. 目录索引管理 . 28 5.2.4. 权限管理 . 28 5.2.4.1. 操作者权限 . 29 5.2.4.2. 系统用户权限 . 30 5.2.5. 订阅定制 . 31 5.2.5.1. 数据校验 . 33 5.2.5.2. 订阅 . 34 5.2.5.3. 退订 . 35 5.2.6. 日志定制 . 36 5.2.7. 安全管理 . 38 5.2.8. 其它参数设置 . 39 5.3. 数据交换服务 . 40 5.3.1. 数据交换流程 . 40 5.3.2. 消息管理 . 41
3、 5.3.3. 队列管理 . 42 5.3.4. 发送管理 . 42 5.3.5. 接收管理 . 43 5.3.6. 封装解析 . 44 5.3.6.1. 封装 . 44 5.3.6.2. 解析 . 45 5.3.7. 数据整编 . 46 3 5.3.8. 数据保存 . 47 5.3.9. 其它相关服务 . 48 6. 项目实施安排 . 48 4 1. 项目背景 1.1. 概述 经过近几年的信息化建设,北京市水务局的计算机网络和应用系统的建设均取得了长足发展,随着信息技术的发展,水务信息化建设的相关标准与方式方法也在不断完善和规范,为后续相关业务信息化建设奠定了坚实的基础。 北京市水务局已经建
4、设了骨干通讯网,构建了机关内部的计算机局域网络平台和数据库系统。 水务局目前已经运行的有 近 30 个业务系统。 以水务局 “水务 信息 平台” 为核心的水务信 息网已基本建成。 水务信息化标准数据库已经建立并在不断的规范当中。目前北京市水务局已建立了水文数据库、供水数据库、水环境数据库、工情数据库、灾情数据库、水土保持数据库、社会经济数据库和图形图像地理信息数据库八类数据库,这些数据库均是在 ORACLE9I 版本数据库之上。水务局对下属机关、局属、县区单位分为 A、 B、 C 三类分中心机构,大部分分中心均已建有自己的水务业务信息系统,且基本实现与局中心水务平台相连,进行数据交换与共享。
5、1.2. 现状分析 北京市水务信息平台虽已取得的很大进展, 但由于各 分中心的 业务系统 的应用结构、技术 结构以及数据库差异较大, 尤其各分中心的业务系统所用的数据库不尽相同 有不同版本的 ORACLE、 SQL SEVER 等,采用的开发技术不同 如J2EE、 DOTNET 等,不同系统之间需要实现数据的及时共享与互通, 局中心 尚没有建立完善的信息共享交换机制,不能及时获得各分中心的水务信息,达不到为决策支持提供信息服务的目标, 各系统间的数据交换成为数据共享的最大障碍,因此 需要建立一个统一的、适用性广的 信息交换平台 ,用于交换局中心与各分中心之间的各种数据,从而实现数据及时共享与交
6、换。 5 1.3. 需求描述 建设一个开放的、可扩展的 、适应性强的、高效稳定的 信息 交换 平台 , 平台应具有如下功能: 1、 方便的实现北京市 水务局及 各 分 中心业务应用系统之间的数据共享与交换; 2、 实现不同类型的数据库对接:即通过本平台能够实现不同类型数据库之间的互通,可以将数据源表和目标数据表对应起来; 3、 数据对导:即本平台支持对结构相同或相似源数据表与目标数据表内数据的直接导出导入操作,对导前可以配置导出导入字段的对应关系,同时应支持通过视图进行对导数据的功能; 4、 数据类型自动转换:指通过平台实现对不同数据类型数据的自动转换功能,比如一个字段由 STRING 型转换
7、为另一个数据库 接受的 VARCHAR 型数据; 5、 消息队列的自动管理:本平台可以自动判断并管理消息队列,按消息的优先次序或级别来 安 排消息传输,建立良好的数据传输机制; 6、 数据的自动 封装 与解析:本平台可以对指定数据按一定原则进行 封装 ,封装 时可以自动判断数据包的大小,按指定大小 封装 成一个或多个包并记录包间的关系, 在接收数据包后,可以对包进行自动解析; 7、 安全控制:本平台应具有严格稳定的安全机制,确保数据安全,即能够根据需要自动按规则对传输数据进行加密解密、根据不同请求者的权限级别设置对应的数据访问权限、自动记录数据丢失与否及传送成功与 否的记录 ,并在传输失败后,
8、能够以 GSM 的方式通知接收方本次传送失败,请等待下一次传送 ; 8、 日志:本平台要有健全完备的日志功能,根据需要记录系统运行过程中的所有相关信息,尤其当系统遇到意外而无法正常工作时,应有相关日志以备查阅; 9、 运行稳定:由于 信息 交换 平台要完成局中心与各分中心之间所有基础数据、业务数据、实时数据 甚至空间数据 的时实共享与交换,因此本平台要长期稳定的运行,能够处理好由于多方同时发送请求而造成的堵塞或冲突等情况,同时具有一定的网络故障应对能力,即当网络发生故障时,交换平台应能自动记录正在传送途中的数 据信息,以便网络恢复时,自动续传 ,支持断点续传 ; 6 10、 鉴于 信息 交换平
9、台在整个水务信息化中的重要地位,本平台在设计时尽量考虑到后期的可扩展性、开放性和广泛的兼容性要求,不能因为具体业务系统的变化或水务信息平台的某个问题而影响正常的数据交换业务,更不应出现平台无故中止或停止服务而进行平台扩展调试的情况; 11、 平台尽可以满足人性化,可配置的灵活要求。 2. 目标 与原则 2.1. 建设目标 信息交换平台 建设在水务局中心,为局中心与各分中心、各分中心之间的数据共享与交换服务, 并兼顾分中心与采集系统之间的信息交换, 实现整个水务信息网用户中任意 两个用户间的数据共享与交换, 主要实现以下目标: 1、 数据交互:能够将一个数据库的某一表中数据,根据一定的要求导入到
10、另一数据库相应表中 ; 2、 资源共享与订阅:能够实现数据资源的共享设置、共享级别设置,订阅数据资源等操作,并能按照订阅内容交换数据 ; 3、 信息级别权限控制:一定级别的工作站只能访问该级别或级别要求更低的共享资源 ; 4、 数据操作源和目的数据库可以为多种数据库:如: SQL Server, Oracle等 ; 5、 数据交换要支持多种数据类型:如:数值、字符、日期、文件等 ; 6、 信息交换 平台运行模块要以服务程 序模式运行 ; 7、 信息交换 平台支持数据配置扩展,可以通过配置文件来更改运行环境、共享资源数据内容以及共享级别 ; 8、 日志记录:创建日志,方便调试和日后查看 ; 9、
11、 系统具有长时间稳定运行的能力 ; 10、 有一定的网络故障处理能力,当网络出现问题 时 , 系统可以在一定程度上采取自救措施,如支持断点续传和发送短信息给等待用户 。 7 2.2. 建设原则 本平台建设遵循以下原则: 1、实用性原则:以实用为第一准则,切实满足管理和业务需求; 2、安全性原则:设计采用有效的软件安全保护、防止非法入侵等措施,保证应用系统、数据的运行安全; 3、先进性原则:设计采用先进软件技术,并考虑适度超前,为今后需求变化留有余地; 4、可靠性原则:技术成熟,保证系统稳定可靠长期运行; 5、完备性原则:设计功能全面、完整; 6、可扩充性原则:采用先进开发手段, 组件化的开发模
12、式, 以保证可扩充性; 7、标准化与开放性原则:系统设计符合标准化建设和开放的原则。 2.3. 定义与 约束 1、 元数据: 元数据 是一组描述数据本身基本特征和属性的数据,又称为 “数据的数据 ”。从本质上说,元数据是一种数据结构标准,它提供了一种框架体系和方法来描述、表征数字化信息的基本特征,并通过一套通用的编 码规则,将来源各异的数字化资源归纳到一个标准的体系中。 2、 数据抽取: 现有数据库内的数据一般都是以某种关系型存在的,构成一个数据集合,抽取即是把数据库内的数据按照一定的规则提取出来组成一个满足自身数据规范要求的数据集合 的 形式。 3、 SOA( service-oriente
13、d architecture,也叫面向服务的体系结构或面向服务架构) : 是指为了解决在 Internet 环境下业务集成的需要,通过连接能完成特定任务的独立功能实体实现的一种软件系统架构。 SOA 是一个组件模型,它将应用程序的不同功能单元(称为服务) 通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。 8 4、节点:本文中指整个水务网内与局中心相连接的各分中心(包括局中心)。 5、 系统用户:使用本平台进行数据交换或共享的系统,即系统用户在本
14、文中指一个应用系统。 6、操作者用户:操作本平台的操作员,即指通过 本平台提供的 人机交互界面操作本平台 完成指定系统功能 的人。 7、 缩略语: 在本设计方案中, 信息交换平台 或共享交换 平台 有时被称为本平台或本系统,或在上下文描述时,简要 称 为系统 、平台 ,均指本 信息交换平台 。 3. 建设内容 与依据 3.1. 建设内容 依据信息交换平台的承担任务、北京市水务信息化建设现状及发展形式的要求,本平台建设内容主要分为下面几 个 方面 : 1、目录服务 系统提供目录服务功能,统一管理 市水务局中心 、 各分 中心的基础信息、各类业务 信息 、各种 统计 分析等数据 包括相关图表数据
15、,利用目录服务手段为各用户依据权限设定范围提供独享数据资源、共享数据资源的快速检索与定位。 2、基础信息资源服务 通过建立专门的基础信息维护模块接收各种系统所 需基础信息资源、公共信息资源,从而为各级用户 之间实现 信息资源的共享与流通提供必要保障。 3、元数据定制服务 考虑到本系统的可扩展性及与各类 业务 系统之间的兼容性,系统对用到的各类基础信息 元数据、业务信息 元 数据 提供用户可定制功能,即用户可通过自身业务需要定制自己的元数据信息,再根据对元数据的维护、整理、分析、接收、发送、订阅分配等业务操作实现数据交换 与 管理 功能 。 4、数据订阅服务 局中心、各分中心 用户均可订阅其它用
16、户作好订阅分配的数据信息集,可以根据各自权限及所需订阅 信息 订阅其它 系统 或中心的信息数据,从而最大限 度的包容了由业务变动带来的需求信息变化,也灵活的实现了不同时期、不同级别用9 户对数据的不同需求。 5、信息交换服务 本 交换平台为局中心、各分中心 用户所需的各项服务进行统一管理,提供对各类数据交换的统一规范化服务与管理,为跨部门、跨区域、跨级别 、跨系统 的数据交换提供服务。 6、支撑服务 为了保证本系统稳定、安全、顺利的运行,本平台提供全面的支撑服务体系。如安全认证服务、审计服务等。 7、日志 作为安全服务的补充,本平台提供完备的日志 管理 机制,并对日志进行分级处理,用户可根据自
17、身需要在系统内设置本平台所要记录的日 志信息,便于后期查看。 3.2. 建设依据 软件工程术语 GB/T 11457-1995 计算机软件产品开发文件编制指南 GB/T 8567-1988 北京市水利骨干通信网 信息高速公路总体规划 信息技术软件生存期过程 GB/T 8566-1995 计算机软件质量保证计划规范 GB/T 12504-1990 计算机软件配置管理计划规范 GB/T 12505-1990 软件维护指南 GB/T 14079-1992 计算机软件可靠性和维护性管理 GB/T 14394-1993 软件支持环境 GB/T 15853-1995 4. 技术路线 4.1. 技术架构 1
18、、技术模式 10 作为整个 北京市水务信息 网络各 应用系统 之间的数据 交换 接口,为了保证其可扩展性和系统的可靠性,本 信息交换平台 采用 组件 化的设计模式 实现,各组成模块尽量作到 松散耦合, 可以无限制扩充, 从而实现与其他系统模块的无缝集成,该系统采用 面向对象的组件化 技术建设基于 C/S 结构的系统 , 并且以 Windows服务程序模式与 Windows 程序用户交互模式结合方式运行。 这种设计具有以下一些优势: 以服务方式运行的系统可以在服务器不登陆的情况下,数据交换就能够运行; 服务程序与交互 界面并存,这样可以实时监测和控制交换程序的运行,方便 维护 和调试; 系统提供
19、用户操作界面,可以让用户非常便捷地完成 相关设置与订阅 操作; C/S 结构程序最适合网络间数据交换,能够保证程序的持续稳定运行; 系统采用 ODBC 数据源来连接数据库,解决多种类型的数据库源的连接问题 。 本系统技术 框 图如下: 系 统 1 系 统 2 系 统 n标准规范交 换 服 务 模 块 系 统 管 理 模 块安全机制消息管理队列管理发送管理接收管理. . .目录管理权限分配资源配置日志管理. . .D o t N e t / O D B C系 统 平 台 ( 网 络 、 操 作 系 统 )交换平台技术框图 2、技术实现 系统内各具体功能模块均由相应的组件(或称构件)构成,相关组件
20、由容器11 统一管理,根据服务对象与功能的不同,容器可分为“管理容器”和 “交换容器”分别完成系统与数据的管理及数据交换功能。 功能组件按其功能分别归由相应的容器统一调配管理,组件间的关系通过配置文件( XML)实现,以达到松藕合的目标。 组件按其作用与重要程度可分为“标准组件”和“附加组件”两种,标准组件是信息交换平台为完成正常数据管理与交换功能必要须的功能组件,附加组件是指为了使平台更好的运行,为平台添加一些附加功能而设计的组件。附加组件也是可选组件,平台根据相关配置动态实现附加组件的调用,当平台加入的附加组件并已配置了相关信息时,平台运行过程中会自动调用此组件实现附加功能;当平 台的配置
21、信息改变删除附加组件时,平台不再调用附加组件,而进行常规运行,并不影响正常的平台功能。 本平台设计的组件、分类及作用描述如下表: 序号 组件名称 容器 类型 功能描述 1 注册组件 管理容器 标准组件 完成在上级主交换节点的注册,获取本节点相关编码、上级节点的 IP 地址等信息,启动共享交换平台 2 资源管理 完成本节点信息资源目录的建立,自动登记信息资源元数据 3 订阅组件 完成订阅其他信息节点共享资源元数据,生成本节点订阅信息资源树 4 监控组件 可选组件 实时监视本节点信息资源交 换状况,包括本节点接受和发送的数据 5 信息比对 执行指定的本节点信息数据与其他节点可共享数据的比较,报告比
22、较结果 6 流量分析 统计某时间范围内,本节点共享数据输出和输入数量统计 7 数据抽取 交换容器 标准组件 依据信息资源元数据描述以及信息资源的时间特性,定时或定期从指定的数据库或文件夹中读取数据 8 封装与分发 将数据抽取的结果按照数据报文要求进行封装,每个资源订阅方分别封装各自的数据包 ,然后分别发送给接收方 9 通讯组件 将封装、分发后的数据报文,通过底层网络链路,传送到 指定的资源共享节点 12 序号 组件名称 容器 类型 功能描述 10 分包组件 将信息节点接收到的数据包,按照接口规范,进行拆分、解析以及必需的编码转换,转化为本信息节点对应数据的存储格式 11 存储组件 将分包后的数
23、据,写入信息资源元数据描述的数据库或文件夹中 12 加密压缩 可选组件 在通讯组件运行前执行,将数据内容进行加密、压缩后,生成新的加密压缩报文 13 关联计算 在分包组件完成后执行,主要完成针对水务业务的一些专业计算需求,如:由水位 库容曲线,按照水位数据计算水库蓄水量等 14 信息整编 在关联计算组件运行后 执行,根据信息资源时间特性需求,生成新的不同时间频率的数据 15 审计组件 交换平台将自动记录运行日志。可以定义多个级别,不同级别记录日志的详细程度不同 注:节点指使用本平台的各个系统用户。 以上组件与主要功能模块的对应关系如下: 13 注 册 资 源 管 理订阅监 控信息对比流 量 分
24、 析 数 据 抽 取封装分发通 讯分包存 储加密压缩关联计算信息整编审 计注 册 目 录 服 务订 阅日 志安 全 消 息 管 理 队 列 管 理发 送 服 务 接 收 服 务封装解析整 编保 存其 它 服 务基础服务业务主体辅助功能组件与功能对应关系 上图中浅黄色为组件,淡蓝色为功能模块,箭头表示功能与组件的主要对应关系。 3、技术特点 总结起来 信息交换平台 具有以下技术特点: 1) 元数据 采用元数据理念管理共享与交换用到的各种数据元素,元数据管 理基于信息资源目录管理的资源体系实现,本平台元数据描述除清晰描述信息自身含义外,还清楚的描述信息的存取方法、基本属性等信息,为建立在信息资源目
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
2000 积分 0人已下载
下载 | 加入VIP,交流精品资源 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 交换 平台 设计方案
