本标准规定了政务云工程评价的指标体系、方法和应用。
本标准适用于政务云工程建设和应用成效的评价。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T18391.1信息技术元数据注册系统第1部分:框架
GB/T19488.2电子政务数据元第2部分:公共数据元目录
GB/T30850.2电子政务标准化指南第2部分:工程管理
GB/T34077.1基于云计算的电子政务公共平台管理规范第1部分:服务质量评估
DB52/T1125政府数据资源目录第2部分:编制工作指南
3术语和定义
下列术语和定义适用于本文件。
3.1
政务云工程governmentcloudengineering
基于公共云计算平台搭建或运行的电子政务工程。
3.2
云上贵州系统平台guizhou-cloudplatform
贵州省人民政府统筹搭建的全国首个实现全省政府数据统筹存储、统筹共享、统筹标准和统筹安全
的云计算电子政务公共平台。
3.3
评价指标体系evaluationindexsystem
由相互关联的指标模块和分项指标组构成的、具有内在逻辑结构的有机整体,用来表征、评价和比
较评估对象各方面特性或满足评价要求的程度。
1
3.4
数据data
对事实、概念或指令的一种形式化表示,适用于以人工或自动方式进行通信、解释或处理。
[GB/T19488.2-2008,定义3.1]
3.5
数据元dataelement
由一组属性规定其定义、标识、表示和允许值的数据单元。
[GB/T18391.1-2002,定义3.3.8]
3.6
迁云cloudmigration
将信息系统、数据或者数据库按照统一规范要求进行适应性改造后,迁移到云计算环境中的过程。
3.7
政府数据资源目录governmentaldataresourcedirectory
对政府数据资源分类后,按照一定次序编排而成的数据资源列表,便于数据资源共享开放的检索、
定位与发现。
[DB52/T1125-2016,定义3.1]
3.8
数据共享datasharing
政务部门在依法履行职能过程中向其他政务部门提供或自其他政务部门获取政务数据的过程。
3.9
政府数据开放opengovernmentdata
政府数据能最大程度保持原始出处,并被任何人出于任何目的不受限制进行自由利用、再利用和分
发。
4指标体系
4.1要素
4.1.1评价指标
将影响结果决策的因素逐步细化分解为目标层、准则层和方案及措施层三个层级的评价指标集。
2
4.1.2指标分值
对同一层级不同指标相对重要程度的量化表征,反映各层级指标对实现指向评价目标的影响程度。
指标项的满分分值表示当参评对象完全符合该指标各关键评价点要求或作为所有参评对象的标杆标准
时的理想状态。
4.1.3评价基准
对指标绩效目标完成程度的衡量尺度进行要求,以评价细则的形式描述。评价基准可分为以下类别:
a)定量类:对适合量化的指标项,分解指标的关键评价点,针对每个评价点设定量化的分值基线
和阈值;
b)定性类:对不适合量化的指标项,分解指标的关键评价点,用不同等级的一组属性词来对应描
述关键评价点不同等级的实现水平,并根据属性词等级对满分分值进行对应折算后赋予量化分
值,实现特定语义下的相对比较。
4.2框架
4.2.1包含以下层级:
a)第一层级(简称“一级指标”)包括基础支撑、建设实现、应用绩效和管理保障4个指标;
b)第二层级(简称“二级指标”)包括部门信息化基础水平、部门数据云化聚集度、数据共享开
放支撑度、数据沉淀、应用方向、应用实现、系统运行稳健性、电子参与度、应用效能、信息
化推进效应、组织保障、推进配合度、项目管理、资金管理14个指标;
c)第三层级(简称“三级指标”)包括内部办公管理统筹化、业务信息化应用覆盖率、部门数据
统一管理、系统总体上云率、新建系统云上部署率、数据资源目录梳理完成率、数据共享支撑
度、数据开放贡献度、数据采集方式、数据生成情况、数据结构化程度、数据和接口规范率、
可视化展示、信息化管理、对外数据服务、创新数据应用、公共平台和网络利用情况、云资源
利用率、数据融合应用能力、系统可控和扩展能力、系统可靠性、信息安全、应用可获得性、
评价改进、应用深度与效能、应用运营模式、示范性和影响力、数据利用覆盖率、功能和资源
复用率、制定规范、专项研究、机制保障、立项合规性、建设规范性、材料报送时效与质量、
目标任务完成率、进度和质量管理、安全管理、专项资金保障、资金使用规范性、运维费用保
障41个指标。
4.2.2政务云工程评价三层指标框架图见图1。
3
图1政务云工程评价三层指标框架图
4.3指标说明
4.3.1基础支撑指标说明
4.3.1.1部门信息化基础水平
部门信息化基础水平的三级指标按以下说明:
a)内部办公管理统筹化:按规定使用统一电子政务办公平台实现本部门内部办公管理;
b)业务信息化应用覆盖率:职能范围内的对外政务服务事项(包括行政许可、行政确认、行政征
收、行政给付、公共服务、其他内外部行政权力事项等)基本实现信息化应用的比率;
c)部门数据统一管理:所有数据资源按本部门规范要求进行统一管理。
4.3.1.2部门数据云化集聚度
部门数据云化集聚度的三级指标按以下说明:
a)系统总体上云率:依托电子政务外网或互联网的已建业务系统按迁云工作要求实施迁云的比
率;
b)新建系统云上部署率:依托电子政务外网或互联网的新建业务系统中基于云上贵州系统平台建
设的比率。
4.3.1.3数据共享开放支撑度
数据共享开放支撑度的三级指标按以下说明:
a)数据资源目录梳理完成率:已梳理数据资源目录的业务系统数量占云工程所有业务系统数量的
比率;
b)数据共享支撑度:通过省政府数据共享交换平台提供共享的数据元数量占部门数据资源目录中
可共享数据元总量的比率,和部门对外提供共享数据及使用其他部门共享数据的频次;
4
c)数据开放贡献度:可机读的开放数据元数量占开放数据(包括接口、库表、文件)总量的比率,
尤其是以API(应用程序接口)方式开放的数据元数量所占比率。
4.3.2建设实现指标说明
4.3.2.1数据沉淀
数据沉淀的三级指标按以下说明:
a)数据采集方式:数据采集方式的时效性和自动化程度;
b)数据生成情况:能生成和沉淀主题数据资源,与省共享数据资源池中已有的主题数据资源无重
复;
c)数据结构化程度:生成的结构化数据集和经结构化处理利用的数据集的合计数占数据集总数的
d)数据和接口规范率:生成的所有数据或API(应用程序接口)中符合统一规范要求的比率。
4.3.2.2应用方向
应用方向的三级指标按以下说明:
a)可视化展示:具备数据可视化分析应用有关功能;
b)信息化管理:具备提升部门业务信息化管理能力有关功能;
c)对外数据服务:具备对外(包括其他部门、社会、公众等)提供数据服务有关功能;
d)创新数据应用:具备提供个性化、定制化服务或创新应用有关功能。
4.3.2.3应用实现
应用实现的三级指标按以下说明:
a)公共平台和网络利用情况:利用统一的公共平台、公共组件、电子政务网络资源等实施建设的
情况;
b)云资源利用率:一个完整周期内总体网络带宽使用率、已开通的所有云服务器和数据库服务器
其CPU使用率及内存使用率;
c)数据融合应用能力:生成数据能在部门内部、跨部门、跨地区、跨层级等不同范畴间进行融合
应用;
d)系统可控和扩展能力:系统核心源代码及运行过程状态可控,系统架构扩展灵活。
4.3.3应用绩效指标说明
4.3.3.1系统运行稳健性
系统运行稳健性的三级指标按以下说明:
系统响应速度等基本性能;
b)信息安全:具备系统访问、信息传输、资源存储、备份与恢复、数据隔离、数据销毁、数据迁
4.3.3.2电子参与度
电子参与度的三级指标按以下说明:
a)应用可获得性:服务应用获得的渠道数量和对服务对象的专业性要求;
5
b)评价改进:应用服务评价或意见征集的渠道数量及功能。
4.3.3.3应用效能
应用效能的三级指标按以下说明:
a)应用深度与效能:应用绩效在以下单个或多个方面的发挥程度:
5)应用成果被社会公众广泛获取或基于原应用衍生了系列二次应用。
b)应用运营模式:具备规范的应用运营模式,包括但不限于利用第三方服务平台、运用
“互联网+”、开展移动政务服务等;
c)示范性和影响力:获得国家、省级、地区性应用示范项目或奖励项目等称号。
4.3.3.4信息化推进效应
信息化推进效应的三级指标按以下说明:
a)数据利用覆盖率:已利用的业务数据集(或数据元)数量占数据集(或数据元)总量的比率;
b)功能和资源复用率:软件功能或软件结构、代码等资源在跨部门业务协同和网上政务服务中复
用的程度。
4.3.4管理保障指标说明
4.3.4.1组织保障
组织保障的三级指标按以下说明:
4.3.4.2推进配合度
推进配合度的三级指标按以下说明:
a)立项合规性:按规定通过前置审批或技术评议;
b)建设规范性:建设的主要流程包括但不限于可行分析、立项评审、采购招标、系统设计、功能
开发和测试、应用上线、运营维护等;
c)材料报送时效与质量:迁云、数据共享、数据开放、数据资源目录梳理等工作计划方案按时报
送,材料编制满足工作要求。
4.3.4.3项目管理
项目管理的三级指标按以下说明:
a)目标任务完成率:按计划完成目标任务的比率;
b)进度和质量管理:建立进度和质量管理机制,以及各种阶段性进展报告和质量报告的记录完整
程度;
c)安全管理:安全管理机制建立情况,以及安全事故实际发生的次数和影响程度。
6
4.3.4.4资金管理
资金管理的三级指标按以下说明:
a)专项资金保障:项目建设专项资金保障措施制定情况及其执行情况;
b)资金使用规范性:项目实际使用支出与预算批复相符程度,以及资金使用变更的合规程度;
c)运维费用保障:系统后期运维费用的落实情况,以及每年运维费用占项目建设总投资的比率。
5评价方法
5.1评价数据获取
5.1.1评价数据的获取方法包括但不限于以下6种:
a)管理数据采集:采集云上贵州系统平台、省政府数据共享交换平台、省共享数据资源池、各级
政府数据开放平台、省政府数据资产登记管理平台、省政府数据调度平台、省网上办事大厅等
监测管理数据,和参评对象业务系统工作数据、后台管理数据;
b)专家评定:根据评分细则结合个人专业判断对有关指标进行打分、评价、得出结论,参评对象
配合提供辅助证明材料或检测通道供评价使用;
c)参评对象自评:参评对象按照自评指标要求自行评价,提交自评结果;
d)参评对象互评:参评对象集中交流并互评打分,提交互评结果;
e)公众评议:将政务云工程在互联网公共平台上统一展示,开放公众投票功能获取投票结果数据;
f)系统测试:评价人员委托第三方专业测试机构对部分系统性能和指标进行监测。
5.1.2评价数据获取内容及方式见附录A。
5.2分值设计
评价指标分值设计用绝对权数表示,绝对权数等同于各指标的满分分值,同一层级所有指标的满分
分值之和均为100。
三个层级的指标分值设计见附录B。
5.3结果评定
5.3.1评分计算
5.3.1.1评价总得分
参评对象的最终评价总得分按公式(1)进行计算。其中,一级指标集合计得分按公式(2)进行计
算,二级指标集合计得分按公式(3)进行计算。公式(1)、公式(2)和公式(3)具体如下:
.................................(1)
...................................(2)
7
...................................(3)
式中:
E——参评对象最终评价总得分;
i——第i个一级指标;
——第i一级指标的实际得分;
j——第j个二级指标;
A——分解于第i个一级指标的起始二级指标序号;
N——分解于第i个一级指标的结尾二级指标序号;
——第j个二级指标(分解于第i个一级指标)的实际得分;
k——第k个三级指标;
B——分解于第j个二级指标的起始三级指标序号;
M——分解于第j个二级指标的结尾三级指标序号;
——第k个三级指标(分解于第j个二级指标)的实际得分。
5.3.1.2关联一级指标得分贡献率计算
关联一级指标得分贡献率按公式(4)、公式(5)和公式(6)进行计算。
——基础支撑和管理保障关联一级指标的合计得分占最终评价总得分的比率;
——基础支撑一级指标实际得分;
——管理保障一级指标实际得分;
8
——建设实现和应用绩效关联一级指标的合计得分占最终评价总得分的比率;
——建设实现一级指标实际得分;
——应用绩效一级指标实际得分。
5.3.2结果评定
结果评定从低到高分为准备阶段、起步阶段、发展阶段、成熟阶段和卓越阶段五个阶段,政务云工
程评价结果评定见表1。
表1政务云工程评价结果评定
得分要求评定阶段
E≤30准备阶段
30 起步阶段 R值需满足:R1≤80%或R2≥20% 50 发展阶段 R值需满足:R1≤60%或R2≥40% 75 成熟阶段 R值需满足:R1≤40%或R2≥60% 90 注1:E是判断政务云工程所处发展阶段的首要条件。当R值未满足E所标识的评定阶段得分要求时, 则评定该政务云工程处于比E所标识的评定阶段低一级别的评定阶段; 注2:每个阶段的得分要求具体标准可随当前工作需求变化而变化; 5.4评价实施 5.4.1评价实施步骤: a)成立评价工作组,由信息化和大数据行业专家组成,负责评价组织、协调、实施与监督工作; b)编制评价工作方案,确定评价目的、参评对象、评价方式、实施计划、组织保障、监督管理措 施和评价指标、指标权重、评价基准; c)评价工作组展开内部培训,并为参评对象提供评价指标体系解读培训; 9 d)根据评价工作实际需求设计参评对象自评分、公众评议分和专家评定分在最终评价总得分中各 自所占比例的评分方案; e)参评对象按照工作方案要求,如实根据自评指标进行自评,形成自评分; f)公众在互联网公共平台上对政务云工程进行大众投票,形成公众评议分; g)专家按照评价细则对参评对象进行集中打分,形成专家评定分,按照评分方案要求汇总计算后, 得到各参评对象最终评价总得分并进行结果评定; h)评价工作组结合最终评价结果,对存在问题进行分析,归纳共性特点,提炼影响因素,形成评 价报告。 5.4.2评价报告内容 评价报告应包括以下内容: a)介绍评价工作基本情况、评价结果; b)分析评价结果,描述政务云工程建设成效; c)找出存在问题,提出下一步改进、提升建议。 6评价应用 参评对象可结合本标准规定展开包括但不限于以下的应用: a)确定建设应用的主要目标、方向并指导实践; b)结合本标准的具体要求,针对特定指标要求的能力项进行提升; c)结合本标准的结果评定阶段要求实施全面改进; d)在本标准规定的评价指标体系基础上,通过删减、细化或增加评价指标及其细则形成更具有针 对性和行业特征的各行业云工程指标体系。 10 AA 附录A (资料性附录) 评价数据获取内容及方式 A.1评价数据获取内容及方式 见表A.1。 表A.1评价数据获取内容及方式 序号一级指标二级指标三级指标评价数据获取内容及方式 通过专家评定方式获取该指标评价内容所需数据: 内部办公 1a)是否依托统一的电子政务办公平台实现部门内部办公管理自动化; 管理统筹化 b)办公管理自动化覆盖内部管理流程及事项的比率。 通过采集网上办事大厅管理数据和专家评定两种方式获取该指标评价 内容所需数据: 业务信息化 2部门信息化a)职能范围内应提供的业务服务事项数量; 应用覆盖率 基础水平b)已通过网上办事大厅提供上线服务事项占部门应提供的业务服务事项 的比率。 部门数据a)已统一本部门信息系统建设的数据标准规范; 统一管理b)统一数据标准规范覆盖本部门核心业务范畴的比率; c)统一数据标准规范覆盖本部门核心业务系统的比率。 基础 支撑通过采集云上贵州系统平台管理数据和专家评定两种方式获取该指标 系统总体评价内容所需数据: 上云率a)当年总体迁云工作方案要求本部门实现的迁云比率; 部门数据云b)当年本部门实际达到的迁云比率。 化集聚度通过采集云上贵州系统平台管理数据和专家评定两种方式获取该指标 新建系统评价内容所需数据: 云上部署率a)当年新建系统云上部署计划数量; b)当年新建系统实际上的云上部署完成比率。 通过采集省政府数据共享交换平台管理数据和专家评定两种方式获取 该指标评价内容所需数据: 数据共享开数据资源目录 6a)部门所有业务系统数量; 放支撑度梳理完成率 b)已梳理数据资源目录的业务系统数量以及其占部门所有业务系统数量 11 表A.1评价数据获取内容及方式(续) 通过采集省政府数据共享交换平台管理数据和专家评定两种方式获取该 指标评价内容所需数据: 数据共享 7a)已上架的共享数据元数量占数据目录中可共享数据元总数的比率; 支撑度 b)通过省政府数据共享交换平台向其他部门提供共享数据的数据量; c)通过省政府数据共享交换平台获取其他部门共享数据的数据量。 基础支撑 开放支撑度 (续) 通过采集本级政府数据开放平台管理数据和专家评定两种方式获取该指标 评价内容所需数据: a)本部门通过本级政府数据开放平台开放的数据集数量和数据量; 数据开放 8b)已开放的可机读数据量占总开放数据量的比率; 贡献度 c)以API(应用程序接口)方式开放数据元的数据集数量占开放数据集总数 量的比率; d)随机抽查10-20个API(应用程序接口)的有效性。 通过参评对象自评方式获取该指标评价内容所需数据: 数据采集a)提供系统数据自动化采集渠道的数量(如传感器、自动监控设备、移动 方式APP端、系统前端等); b)自动化采集数据时从前端同步到后台的实时程度和延时程度。 建设实现数据沉淀数据生成指标评价内容所需数据: 情况a)生成的主题数据集所涉及的核心数据元数量; b)抽查其中10个核心数据元与省共享数据资源池上已有数据元的重复率。 数据结构化a)政务云工程生成的总数据量; 程度b)结构化数据量(包含对非结构化数据实现结构化处理/利用的数据量)占 政务云工程数据总量的比率。 12 a)接入省政府数据共享交换平台的数据中符合标准规范的数 数据沉淀数据和接口据量比率; (续)规范率b)接入本级政府数据开放平台的数据中符合标准规范的数据 量比率; c)接入省网上办事大厅的数据中符合标准规范的数据量比率。 可视化通过参评对象自评、公众评议和专家评定三种方式获取该指标 13 展示评价内容所需数据:可视化展示有关功能的实现程度。 通过参评对象自评、公众评议和专家评定三种方式获取该指标 信息化 14评价内容所需数据:协助部门实现业务信息化管理有关功能的 管理 实现程度。 建设实现 应用 方向通过部门自评、公众评议和专家评定三种方式获取该指标评价 对外数据 15内容所需数据:对外数据服务(包括其他部门、社会、公众等) 服务 有关功能的实现程度。 创新数据 16评价内容所需数据:个性化、定制化服务或创新应用等有关服 务功能的实现程度。 a)自建业务专网或自建跨部门、跨地区、跨层级应用的公共平 公共平台和网络利 用情况 b)利用全省电子政务网络资源情况; 通过采集云上贵州系统平台管理数据和专家评定两种方式获 取该指标评价内容所需数据: a)政务云工程当年所有云服务器和关系型数据库的CPU及内 存使用率排序最高的前7天平均峰值; b)采用适度指标标准化法分别测算云服务器和关系型数据库 18云资源利用率 的CPU及内存使用率平均峰值与50%利用率的差值比率; c)政务云工程当年网络带宽总体利用率排序最高的前7天平 均峰值; d)采用适度指标标准化法测算网络带宽总体利用率的平均峰 值与50%利用率的差值比率。 建设实现应用实现 通过参评对象自评和专家评定两种方式获取该指标评价内容 (续)(续) 所需数据: 数据融合 19a)建设方案中涉及数据融合应用的规划设计; 应用能力 c)实现数据间的共享交换、融合应用的载体。 通过系统测试或专家评定方式获取该指标评价内容所需数据: 系统可控 20条款; 和扩展能力 c)系统验收功能测评报告。 通过采集政务云工程系统后台管理数据或系统测试方式获取 a)政务云工程系统性能测试报告; 系统运行系统 稳健性可靠性 d)网络稳定情况下用户信息浏览、数据查询、实时交互功能等 14 通过采集政务云工程系统后台管理数据、参评对象自评或系统测试 等方式获取该指标评价内容所需数据: 系统运行a)系统访问控制、检查安全漏洞、攻击监控、加密通讯、用户认证、 信息 22稳健性备份和恢复、多层防御等4类及以上功能或软件部署报告; 安全 (续)b)第三方专业机构安全检测报告; 测评等证明材料。 通过系统测试和专家评定两种方式获取该指标评价内容所需数据: 应用a)服务应用获取渠道的数量; 23 可获得性b)应用结果获取对服务对象的专业性要求说明; c)对外在线服务对主流浏览器及国产浏览器的支持程度。 电子 参与度通过系统测试、专家评定和公众评议三种方式获取该指标评价内容 应用绩效评价 24a)服务反馈评价渠道的功能完备情况; (续)改进 b)服务反馈处理机制; c)评价人员用户体验测试与评价。 通过参评人员自评、公众评议和专家评定三种方式获取该指标评价 应用深度内容所需数据: 25 与效能a)建设方案中的业务应用设计内容; b)业务应用运行总结报告或应用绩效报告。 应用通过公众评议和专家评定两种方式获取该指标评价内容所需数据: 应用运营 26效能a)建设方案中的运营模式设计内容或运营方案; 模式 b)突出运营模式的运营报告、总结文件等。 27示范性和影响力a)各级别获奖通知或公告; b)各级别项目示范通知或公告。 15 a)建设方案中对数据集(或数据元)利用的目标数量占生成数 数据利用 28据集(或数据元)总数量的比率; 覆盖率 b)已实际利用的数据集(或数据元)数量占已生成的数据集(或 数据元)总数量的比率。 应用绩效信息化 (续)推进效应 通过参评对象自评或专家评定方式获取该指标评价内容所需 数据: 功能和资源 29a)政务云工程的软件功能、结构、代码、组件等支撑跨部门业 复用率 务协同、网上政务服务的申请协议、功能流程图、业务记录等; b)测试渠道和账号。 制定数据: 30 b)管理制度的完备程度和细化程度。 组织 保障专项通过参评对象自评或专家评定方式获取该指标评价内容所需 31 研究数据:涉及政务云工程建设的专题会议纪要次数。 管理保障 机制通过参评对象自评或专家评定方式获取该指标评价内容所需 32 保障数据:建立政务云工程推进小组或机制有关文件。 通过采集主管部门工作管理数据获取该指标评价内容所需数 据: 33 规范性合规性建设情况;生成数据的共享开放计划;生成数据的沉淀利用计