1、 ICS 03.100.99 CCS A 02 DB51 四川省地方标准 DB51/T 30602023 四川省政务信息化后评价指南 Guideline for post-evaluation of government affairs informatization in sichuan province2023-04-28 发布2023-06-01 实施四川省市场监督管理局发 布 DB51/T 30602023 I 目次 前言.II 引言.III 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 符号和缩略语.1 5 基本原则.1 独立性.1 5.1 客观性.2 5.2 针对性
2、.2 5.3 结构性.2 5.46 评价方法.2 基本方法.2 6.1 综合评价法.2 6.2 逻辑框架法.2 6.3 层次分析法.2 6.47 评价指标.2 评价指标体系框架.3 7.1 投资决策与建设管理.3 7.2 运维水平.3 7.3 应用效果.4 7.4 项目效益.4 7.58 评价程序.4 基本程序.4 8.1 前期准备.5 8.2 项目应用机构自评.5 8.3 实施评价.5 8.4 评价报告撰写.5 8.5 评价结果应用.5 8.69 评价组织管理.5 总则.5 9.1 独立性.6 9.2 公正性.6 9.3 保密性.6 9.4附录A （资料性）评价指标体系.7 附录B （资料性
3、）采用层次分析法计算评价指标权重示例.10 B.1 层次分析法基本原理.10 B.2 采用层次分析法计算评价指标权重步骤.10 B.3 采用层次分析法计算评价指标权重示例.11 DB51/T 30602023 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由四川省发展和改革委员会提出、归口并解释。本文件起草单位：四川省数字经济研究中心、四川省发展和改革委员会数字经济发展处、四川省人民政府电子政务办公室、西南交通大学、电子科技大学、四川大学 本文件主要起
4、草人：王丹琛、李皓迪、肖杨梅、郭一蓓、牟昕、毛鹏宇、高笑笑、柳岸、宋晶、王颉、廖丹、罗蕾、何星星、韦涛、方智阳。本文件为首次发布。DB51/T 30602023 III 引言 四川省政务信息化后评价是在四川省政务信息化项目竣工验收后，对项目的目标、执行过程、结果、效益、作用和影响进行系统、客观的分析和总结的技术经济活动。其目的是总结经验，不断提高项目投资决策、工程实施和运维管理水平，并为制定相关政策等提供科学依据。为明确四川省政务信息化后评价工作的原则、内容、方法、程序，特制定本标准。DB51/T 30602023 1 四川省政务信息化后评价指南 1 范围 本文件规定四川省政务信息化后评价的原
5、则、内容、方法、程序和机构。本文件适用于策划、组织、实施各种类型四川省政务信息化项目的后评价工作。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 236912009 项目管理 术语 GB/T 250692022 信息安全技术 术语 GB/T 256472010 电子政务术语 3 术语和定义 GB/T 236912009、GB/T 250692022、GB/T 256472010界定的以及下列术语和定义适用于本文件。3.1 政务信息
6、化后评价 post-evaluation of government affairs informatization 对已竣工验收政务信息化项目的目标、执行过程、结果、效益、作用和影响等进行分析、总结和评估的活动 4 符号和缩略语 LFA，逻辑框架法（logical framework approach）CE，综合评价（Comprehensive Evaluation）AHP，层次分析法（Analytic Hierarchy Process）CI，一致性指标（Consistency Index）RI，随机一致性指标（Random Index）CR，一致性比例（Consistency Ratio
7、）5 基本原则 独立性 5.1 应由具备相应能力、独立运行的机构开展评价工作。DB51/T 30602023 2 客观性 5.2 应以事实为依据，客观反映项目决策、项目管理、运行维护和系统应用的实际状况，在可靠的文件及明确的数据基础上，实事求是地得出评价结论。针对性 5.3 应针对四川省政务信息化项目的具体特征选择评价方法，综合考虑项目类型、内容、规模、复杂程度等要素，确保分析方法和评价结论的科学性、适宜性。结构性 5.4 应针对四川省政务信息化项目，综合考虑业务结构和数字化功能结构，集合公共管理与IT技术等多视角，做好科学解读和综合研判。6 评价方法 基本方法 6.1 四川省政务信息化后评价
8、主要采用定性和定量相结合的方法，包括综合评价法、逻辑框架法、层次分析法，以及国际国内通行的其他方法等。具体项目的后评价方法应根据项目特征和后评价的要求，选择一种或多种方法对项目进行评价。综合评价法 6.2 综合评价法即多指标综合评价方法，是指使用比较系统的、规范的方法对于多个指标、多个单位同时进行评价的方法。综合评价一般采取主客观结合的方式，评价指标的选取和指标权重设置是关键。该方法采用的计算方法需要考虑的问题比较复杂，但因其综合性和系统性的显著特点在实践中广泛应用。计算机的普及降低了综合评价的计算方法复杂度，增强了评价可操作性。逻辑框架法 6.3 逻辑框架法是一种设计、计划和评价的方法，通过
9、投入、产出、具体目标、宏观目标四个层面对项目进行分析和总结。从确定待解决的核心问题入手，向上逐级展开，得到其影响及后果，向下逐层推演找出其引起的原因，得到“问题树”，并将描述的因果关系转换为相应的目标关系，得到“目标树”和对应的“规划矩阵”。逻辑框架汇总了项目实施活动的全部要素，并按宏观目标、具体目标、产出成果和投入的层次归纳了投资项目的目标及其因果关系。层次分析法 6.4 层次分析法是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，然后采取求解判断矩阵特征向量的方法获得每一层次的各元素对上一层次某元素的优先权重，最后用再加权求
10、和的方式递阶归并各目标对总目标的最终权重，以作为目标（多指标）、多方案优化决策的系统方法。在本标准附录B中，提供了一个采用层次分析法计算评价指标权重的示例。7 评价指标 DB51/T 30602023 3 评价指标体系框架 7.1 四川省政务信息化后评价指标包括投资决策与建设管理、运维水平、应用效果、项目效益四个方面。四川省政务信息化后评价指标体系框架如图 1 所示。系统的指标体系详见附录A。四川省政务信息化项目后评价指标体系运维水平投资决策与建设管理应用效果项目效益业务应用集约化发展水平项目运行状况网络和数据安全保障项目投资决策项目建设管理资源利用水平应用程度管理和政务服务效能社会效益信息资
11、源共享及数据归集效果经济效益应用前景运维组织保障 图1 四川省政务信息化后评价指标体系框架 投资决策与建设管理 7.2 7.2.1 项目投资决策 项目投资决策主要根据项目实施完成的实际情况，对项目立项决策事项进行评价。7.2.2 项目建设管理 项目建设管理主要评价项目建设实施管理的水平。7.2.3 资源利用水平 资源利用水平主要对项目系统实际运行过程中网络、计算、存储等资源实际使用率与建成的能力进行比较评价。7.2.4 业务应用集约化发展水平 业务应用集约化发展水平主要评价项目系统与内外部其他信息系统的协同开发的程度。运维水平 7.3 7.3.1 项目运行情况 项目运行情况主要评价项目实际运行
12、的情况。7.3.2 运维组织保障 运维组织保障主要评价项目运维的资金、组织和队伍的保障水平。DB51/T 30602023 4 7.3.3 网络和数据安全保障 网络和数据安全保障主要评价项目运行维护过程中网络系统和数据安全的保障水平。应用效果 7.4 7.4.1 应用程度 应用程度主要评价项目对业务的支撑力度、系统功能应用频次及受益者满意程度。7.4.2 管理和政务服务效能 管理和政务服务效能主要评价项目对政务目标的实现程度、业务办理效率提升及改善程度。7.4.3 信息资源共享及数据归集效果 信息资源共享及数据归集效果主要评价信息数据质量以及信息数据开放共享水平。项目效益 7.5 7.5.1
13、社会效益 社会效益主要对项目系统使用以后产生的社会效益进行评价。7.5.2 经济效益 经济效益主要对项目系统使用以后产生的经济效益进行评价。7.5.3 应用前景 应用前景主要评价项目创新能力以及应用的可持续性、可推广性。8 评价程序 基本程序 8.1 四川省政务信息化后评价包括前期准备、应用机构自评、实施评价、评价报告撰写、评价结果应用五个阶段。四川省政务信息化后评价程序如图 2 所示。DB51/T 30602023 5 前期准备项目应用机构自评实施评价评价报告撰写评价结果应用确定评价对象成立评价小组制定评价工作方案收集项目基础资料形成评价指标体系制定评价相关文本编写并提交自评报告提交相关文件
14、资料收集文件资料审核文件资料现场测评综合分析撰写初步报告修改初步报告提交正式报告建立档案评价结果反馈问题整改评价结果应用 图2 四川省政务信息化后评价程序 前期准备 8.2 前期准备主要工作包括：确定评价对象、成立评价小组、制定评价工作方案、收集项目基础资料、形成评价指标体系、制定评价相关文本等。项目应用机构自评 8.3 项目应用机构根据自评报告范本，编写并提交自评报告，并按要求提交相关文件资料。实施评价 8.4 实施评价阶段的主要工作包括：收集文件资料、审核文件资料、现场测评、综合分析等。评价报告撰写 8.5 评价报告撰写阶段主要工作包括：撰写初步报告、修改初步报告、提交正式报告、建立档案等
15、。评价结果应用 8.6 评价结果应用阶段主要开展评价结果反馈、问题整改以及评价结果的采信应用等。9 评价组织管理 总则 9.1 后评价机构应具有明确的法律地位，应有文件描述其职能和从事技术相关应用咨询的能力范围。DB51/T 30602023 6 独立性 9.2 后评价机构应独立于所涉及的各方，不应是其评价项目的设计方、集成方、供应商、监理方和运维方，也不应是上述任何一方的授权代表。公正性 9.3 开展后评价的人员应不受可能影响其判断的来自商业、财务和其他压力的影响，应严格执行工作程序确保评价的结果不受评价机构以外的人员或组织的影响。保密性 9.4 后评价机构应确保对后评价活动过程中获得的信息
16、保密。DB51/T 30602023 7 附录A （资料性）评价指标体系 评价指标体系的详细情况如表 A.1 所示。表 A.1 评价指标体系 一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明 三级指标编号三级指标三级指标说明1投资决策与建设管理评价项目投资决策以及项目建设管理的水平和能力1-1项目投资决策 根据项目实施完成的实际情况，对项目立项决策事项进行评价1-1-1政策衔接 评价项目的立项实施是否符合党中央、国务院和省委、省政府要求，是否符合相关政府规划及法律法规的要求 1-1-2技术方案 评价项目技术方案的先进性，与项目单位内部其他信息系统技术路线的兼容适配性，以及与批复
17、文件技术方案的差异 1-1-3自主可控 水平 评估项目应用自主可控软硬件的情况，以及项目批复文件及实际建设情况的差异 1-2项目建设管理 评价项目建设实施管理的水平1-2-1招标采购 评价项目招标采购方案中技术参数设置的合理性 1-2-2验收整改 评价项目验收整改情况及效果 1-2-3档案管理 评价项目实施、运行、维护过程中档案管理的规范情况 1-3资源利用水平 在项目系统运行时，通信、计算等资源实际使用率与建成的能力进行比较评价1-3-1请求响应 能力利用率 评价项目确定的系统请求响应能力和利用率的目标实现程度 1-3-2计算处理 能力利用率 评价项目确定的业务计算处理能力和利用率的目标实现
18、程度 1-3-3数据存储 能力利用率 评价项目确定的信息系统数据存储能力和利用率的目标实现程度 1-4业务应用集约化发展水平 评价项目系统与内外部其他信息系统的协同开发的程度1-4-1外部 协同程度 评价项目系统与项目单位外部的其他信息系统之间协同开发的程度 1-4-2内部 整合程度 评价项目系统与项目单位内部的其他信息系统之间协同开发的程度 DB51/T 30602023 8 表 A.1 评价指标体系（续）一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明 三级指标编号三级指标三级指标说明2运维水平评价项目系统的运维能力和保障水平2-1项目运行情况 评价项目实际运行的情况2-1
19、-1系统可用性 评估项目系统完成要求的功能的能力 2-1-2系统可靠性 评估项目系统在运行过程中的连续正常运行情况 2-1-3系统 可升级性 评价项目系统升级与更新频次 2-2运维组织保障 评价项目运维的资金、组织和队伍的保障水平2-2-1运维 制度保障 评价项目申请维保资金的规范性、合理性等 2-2-2运维 队伍保障 评价运维服务在岗人员、技术能力，及使用方对第三方服务商的监督制度建立及落实情况 2-3网络和 数据安全保障 评价项目运行维护过程中网络系统和数据的安全保障水平2-3-1等级分级 保护水平 评价项目系统达到的信息安全和信息系统等级或分级保护等级 2-3-2网络系统 安全保障 评价
20、项目系统运行防护能力和安全管理规范实施的有效性 2-3-3数据 安全保障 评价项目数据开放应用安全技术防护和管理体系的有效性 2-3-4商用密码 应用性评估 评价项目商用密码应用的合规性和有效性 3应用效果评价项目满足业务需求的能力和信息资源共享的水平3-1应用程度 评价项目对业务的支撑力度、系统功能应用频次及受益者满意度3-1-1功能应用率 评价项目实际应用的系统功能模块的覆盖率以及使用频次 3-1-2用户覆盖率 评价项目实际应用机构/用户数量的情况 3-1-3受益者 满意度 项目系统受益者的满意程度 3-2管理和 政务服务效能 评价项目对提升政务效能的贡献度3-2-1公共服务 普惠改善程度
21、 评价项目对改善公共服务普惠成效的贡献 3-2-2机制秩序 改善程度 评价项目实现秩序类公共事务管理转型，改善竞争、博弈及合作活动秩序，维护协同机制健康的贡献 3-2-3业务 流程和质量 评价系统使用后的业务办理流程和业务办理质量提升情况 DB51/T 30602023 9 表 A.1 评价指标体系（续）一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明 三级指标编号三级指标三级指标说明3-3信息资源共享及 数据归集效果 评价信息数据质量以及信息数据开放共享水平3-3-1数据标准化 评价信息系统中的数据是否符合相关标准和数据规范，或者项目制定了新的标准规范，以及标准规范的使用程度
22、 3-3-2数据一致性 评价项目系统内部以及与内外部其他信息系统之间对同一业务对象的描述在编码、格式、含义等方面的一致性 3-3-3数据时效性 评价项目系统在数据采集、加工、计算和展示方面的及时性，是否在规定时间内更新信息 3-3-4数据共享 接口部署率 评价项目确定的部门间数据共享接口的部署情况 3-3-5提供共享 数据信息量 评价项目提供给其他部门的数据信息量及共享数据方式 3-3-6提供数据 服务频次 评价项目为其他部门提供数据服务的情况 3-3-7数据共享 机制及应用平台 评价项目与内外部其他信息系统之间数据共享机制建设，以及实际利用数据处理支撑平台的情况 3-3-8信息资源 利用率
23、评价项目实际利用内外部其他信息系统数据的次数和频度 4项目效益评价项目建设的经济社会效益以及应用前景4-1社会效益 评价项目系统使用以后产生的社会效益4-1-1促进政府 职能转变 评价项目促进政府职能转变方面的效益 4-1-2提高 办事效率 评价项目提高办事效率方面的效益 4-2经济效益 评价项目系统使用以后产生的经济效益4-2-1提高 工作效率 评价项目提高工作效率方面的效益 4-2-2节约 行政成本 评价项目节约行政成本方面的效益 4-3应用前景 评价项目创新能力以及应用的可持续性、可推广性4-3-1项目 创新能力 评价建设应用后形成的创新点 4-3-2项目试点 示范推广 评价项目的试点示
24、范推广应用情况 4-3-3表彰 获奖情况 评价项目取得的表彰获奖情况 DB51/T 30602023 10 附录B （资料性）采用层次分析法计算评价指标权重示例 B.1 层次分析法基本原理 层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成元素，并按照元素间的相互关联影响以及隶属关系将元素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层（供决策的方案、措施等）相对于最高层（总目标）的相对重要权值的确定或相对优劣次序的排定。具体到本计算示例，得到四川省政务信息化后评价结果（用得分表示）是总目标，投资决策与建设管理、运维水平、应用效果、项目效益等四个一级指
25、标为组成元素。本计算示例采用层次分析法计算各评价指标的权重。B.2 采用层次分析法计算评价指标权重步骤（1）建立层次结构模型 将决策的目标、考虑的元素（决策准则）和决策对象按它们之间的相互关系分为最高层、中间层和最低层，绘出层次结构图。最高层是指决策的目的、要解决的问题。最低层是指决策时的备选方案。中间层是指考虑的元素、决策的准则。对于相邻的两层，称高层为目标层，低层为元素层。（2）构造判断矩阵 在确定各层次各元素之间的权重时，采用一致矩阵法，即不把所有元素放在一起比较，而是两两相互比较。采用相对尺度可以尽可能减少性质不同的诸元素相互比较的困难，并提高准确度。如对某一准则，对其下的各方案进行两
26、两对比，并按其重要性程度评定等级。表示对于上层元素而言，下层元素 和 相对重要性的数值，表B.1列出9个重要性等级及其赋值。按两两比较结果构成的矩阵称作判断矩阵。判断矩阵具有如下性质：=判断矩阵元素 的标度方法如下表B.1所示。表 B.1 比例标度表 元素 i 比元素 j 量化值 同等重要 1 稍微重要 3 较强重要 5 强烈重要 7 极端重要 9 两相邻判断的中间值 2，4，6，8（3）一致性检验 对于上一步构造的判断矩阵，需要检验其一致性，以保证后续做出的排序和决策是可靠的。判断矩阵 一致性是指满足条件 ，它反映了两两比较判断之间是协DB51/T 30602023 11 调一致、不矛盾的。
27、由于实际问题的复杂性和不确定性，特别是涉及的元素较多时，构造的判断矩阵可能不完全满足上述一致性。为此，提出了判断矩阵只要满足“满意一致性”，就可以进入下一步操作。具体的“满意一致性”计算方法：对每一个判断矩阵求其最大特征根 及一致性指标：再计算一致性比例:其中，RI 是平均随机一致性指标，它与 n 有关，如表B.2所列。表 B.2 平均随机一致性指标值 n 1 2 3 4 5 6 7 8 9 RI 0 0 0.58 0.9 1.12 1.24 1.32 1.41 1.45 当 时，认为判断矩阵具有“满意一致性”，是可以接受的；否则需要对判断矩阵进行适当的修正。（4）层次单排序 根据判断矩阵，计
28、算下层各元素对上层元素的影响性排序(权重)，称为层次单排序。设当前层对应的判断矩阵为 ，有多种方法进行单层次排序。本计算示例选用特征根法，即计算判断矩阵B的特征根和特征向量，将最大特征根 对应的特征向量进行归一化后作为排序权重，即层次单排序的结果。（5）层次总排序 将层次单排序结果进行合成，以得到各层元素特别是最底层元素对总目标的影响权重，这称为层次总排序。其计算过程如下：假定上层有m个元素 ，已得到该层次的总排序权重为 ；下层有n个元素 ，且 对 的单排序权重为 (当下层元素 与上层元素 无关时，取 )，则下层元素 ，对于总目标的总排序权重向量 （）按以下方法计算 。B.3 采用层次分析法计
29、算评价指标权重示例（1）建立层次结构模型 根据四川省政务信息化后评价指标体系框架，建立目标和一级指标的层次模型如下图B.1所示。本计算示例只计算一级指标的权重。四川省政务信息化项目后评价指标体系运维水平投资决策与建设管理应用效果项目效益目标一级指标 图 B.1 四川省政务信息化后评价指标体系框架（2）构造判断矩阵 DB51/T 30602023 12 通过咨询专家意见，可以构造判断矩阵。作为示例的判断矩阵如下表B.3所示。在具体评价过程中，应根据实际情况构造科学合理的判断矩阵。表 B.3 判断矩阵示例 判断矩阵元素 投资决策与 建设管理 运维水平 应用效果 项目效益 投资决策与 建设管理 1.
30、00 0.50 0.33 0.50 运维水平 2.00 1.00 0.50 1.00 应用效果 3.00 2.00 1.00 2.00 项目效益 2.00 1.00 0.50 1.00 （3）一致性检验 根据前面的公式，计算过程如下：因为 ，查表B.2，选取平均随机一致性指标值 。计算最大特征根 。计算一致性指标 。计算一致性比例 。小于10%则说明满足一致性要求，打分的主观性是可以接受的。（4）层次单排序 根 据 判 断 矩 阵 计 算 特 征 向 量 和 权 重，得 到 指 标 对 应 的 权 重 向 量 为 （，）。采用同样的方法，可以计算每个二级指标相对于一级指标的权重，以及每个三级指标相对于二级指标的权重。最后可以计算每个三级指标的总排序权重。
