“4 25 X”绩效评价指标说明.docx

附件“4+25+X”绩效评价指标说明一、定义应用绩效评价指标是衡量数字化应用是否好用管用、实战实效的指标。二、指标体系根据省统一应用绩效评价基础框架，参照省应用绩效评价“4+N+X”指标体系，结合数字化项目综合绩效评价指标体系(DB3303/T61-2023),形成我市应用绩效评价“4+25+X”指标体系围绕业务价值、实战实效、运维运营、用户体验等维度，包括4个通用指标、25个辅助指标和X个业务指标。L通用指标是反映应用系统运行情况的主要指标，包含注册率、应活尽活率、贯通率、业务闭环率4项。2 .辅助指标是在通用指标外，对应用系统的数据产生、功能利用、安全运行等情况进行多维度评价的指标，包含沉默用户率、活跃率、人均访问量等25项。3 .业务指标根据应用系统建设给业务带来变化并产生的价值，围绕预期达成的业务目标制定可度量的X项指标。三、指标采集指标数据由三种渠道获取：L系统填报。由各单位登录温州市数字化项目全生命周期管理系统（简称PLMS）填报；2 .系统对接。系统直接通过一体化智能化公共数据平台（简称公共数据平台）获取；3 .日志归集。由各单位通过日志归集的方式将其归集至日志数据仓。指标详情及采集方式详见附件“指标说明:指标说明指标类型指标名称指标定义计算方法指标数据归集说明归集方式一、通用指标（4个）L注册率预期目标用户的开通率，反映目标用户群体的覆盖情况。实际用户数/预期用户数实际用户数L实时写入日志“用户标识”字段,推送到日志数据仓。2.系统会对用户标识去重后计算一定周期内登录应用的用户数。日志归集预期用户数在PLMS登记“预期用户数”信息。系统填报2.应活尽活率一个时间周期内，应用实际的用户访问数（去重）达到预期的比例，反映目标用户的使用是否达到建设预期。一定周期内应用活跃率/应活跃率一定周期内应用活跃率详见辅助指标“活跃率”指标。/应活跃率按日写入日志“应活跃率”字段，推送到日志数据仓。（治理侧应用除阶段工作或执法任务外，一般应活跃率为100%）。系统填报3.贯通率根据应用设计时确定的使用对象群体，分地区判断用户群体功能权限的开通情况，某地区的用户群体均开通权限，视为该地区已贯通，应用贯通率按照已贯通地区数占比计算。已贯通的地区数/应贯通地区数已贯通的地区数1 .实时写入日志“地区编码”字段，推送到日志数据仓。2 .系统判断是否有出现该地区的地区编码，如有则视为该地区已贯通。日志归集应贯通地区在PLMS登记“应贯通地区”信息系统填报指标类型指标名称指标定义计算方法指标数据归集说明归集方式一、通用指标（4个）4.业务闭环率应用涉及核心业务的办理/审批/处置等办理闭环情况，反映核心业务办理形成闭环管理情况。一定周期内闭环业务数/所有业务数一定周期内闭环业务数1 .实时写入日志“操作类型”和“操作标识”字段，推送到日志数据仓。2 .系统会从操作标识获取所有业务ID,再通过操作类型判断是否为事件办结，如是则为闭环。日志归集所有业务数L实时写入日志“操作标识”字段，推送到日志数据仓。2.系统会根据操作标识计算业务ID累计数量，即为所有业务数日志归集二、辅助指标（25个）1.沉默用户率应用是否存在长期不活跃用户的情况，反映应用是否存在为推广而推广的形式主义现象，即存在大量注册后从未按照使用频率来访问应用的“僵尸用户沉默用户数/实际用户数沉默用户数1 .在PLMS登记“用户沉默周期”信息。实时写入日志“用户标识”字段，推送到日志数据仓。2 .系统会根据“绩效评价周期+沉默周期”对该时间段内用户ID去重后计算活跃用户数，“实际用户数-活跃用户数''即为沉默用户数。系统填报、日志归集实际用户数1 .实时写入日志“用户标识''字段，推送到日志仓。2 .系统会对用户标识去重后计算一定周期内登录应用的用户数。日志归集指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）2.活跃率一个时间周期内，应用实际的用户访问数（去重）达到的比例，反映目标用户的目前使用情况。一定周期内活跃用户数/Min（预期用户数，实际用户数）一定周期内活跃用户数1 .实时写入日志“用户标识''字段，推送到日志数据仓。2 .系统会对用户ID去重后计算登录应用的用户数。日志归集实际用户数1 .实时写入日志“用户标识”字段，推送到日志仓。2 .系统会对用户标识去重后计算一定周期内登录应用的用户数。日志归集预期用户数在PLMS登记“预期用户数”信息系统填报3.人均访问量一个时间周期的用户访问量与该时间周期的活跃用户数之比。人均访问量越高，表明应用使用越高频。一定周期内用户访问量/活跃用户数一定周期内用户访问量1 .实时写入日志“用户标识”字段，推送到日志数据仓。2 .系统对用户ID不去重，计算累计登录应用的次数。日志归集活跃用户数1 .实时写入日志“用户标识”字段，推送到日志数据仓。2 .系统会对用户ID去重后计算登录应用的用户数日志归集指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）4.超期办结率主要评价规定办理时限为应用建设单位按照制度或法律法规确定的业务办理时间。超期办结数/总办理数超期办结数1 .在PLMS登记“事件类型”和“各类型规定时长”信息。实时写入日志，操作类型，和，操作标识，字段，推送到日志数据仓。2 .系统会通过操作标识获取事件ID,并结合操作类型为事件开始获取事件类型，操作类型为事件办结获取事件办理事件，结合登记事件类型和对应的规定时长，计算事件是否超期系统填报、日志归集总办理数1 .实时写入日志“操作标识”字段，推送到日志数据仓。2 .系统会从操作标识计算业务ID数量，即为所有业务数日志归集5.平均业务办理时长一个时间周期内的平均业务办理时长。平均业务办理时长越长，说明业务流程较长，可通过流程优化减少办理时长；平均业务办理时长过短，需核查实际情况，是否存在业务流程不规范等问题。各业务办理时长/总办件数各业务办理时长1.实时写入日志“操作类型”和“办理时长”字段，推送到日志数据仓。2统会对操作类型为办结的事件获取办理时长。日志归集总办件数1 .实时写入日志“操作标识”字段，推送到日志数据仓。2 .系统会从操作标识计算业务ID数量，即为所有业务数。日志归集指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）6.功能活跃率主要评价用户对应用系统日常的使用频率。每个功能使用次数/总访问次数每个功能使用次数L实时写入日志“操作标识”字段推送到日志数据仓。2.系统根据操作标识采集功能模块名称，并计算该功能模块的数量，则为该模块的使用次数。日志归集总访问次数1 .实时写入日志“操作标识''字段，推送到日志数据仓。2 .系统根据操作标识采集功能模块名称，并计算所有模块的数量，则为总功能访问次数。日志归集7.关键业务增长主要评价关键业务流程对系统的依赖程度。年新增关键业务数据条数/前三年平均新增关键业务数据条数年新增关键业务数据条数1 .每天写入日志“年新增关键业务数据条数”字段，推送到日志数据仓。2 .系统直接获取结果日志归集前三年平均新增关键业务数据条数在PLMS登记“前三年平均新增关键业务数据条数''信息系统填报8.功能利用率主要评价应用系统功能点实际得到应用的匹配度。投入使用的系统功能点数量/实际建设的系统功能点数量投入使用的系统功能点数量1 .实时写入日志“操作标识”字段，推送到日志数据仓。2 .系统根据操作标识采集功能模块名称，去重计算功能数，则为投入使用的功能数量日志归集实际建设的系统功能点数量在PLMS登记“实际建设的系统功能点数量''信息系统填报9.用户峰值活跃度主要评价用户在应用高峰期的使用频率。Max（每月用户活跃率）用户峰值活跃度系统根据“活跃率”绩效指标计算每天累加，计算每个月的值，并取最大值，则为峰值活跃率系统计算指标类型指标名称指标定义计算方法指标数据归集说明归集方式10.活跃度增长率主要评价连续n个周期内日常活跃度的增长情况。每月日常活跃度增长环比活跃度增长率系统根据“活跃率”绩效指标计算累加，计算每个月的值，可计算每月环比值系统计算11.时效提升主要评价项目上线前后，涉及到的n个业务在办事效率时效上的提升情况。每个月平均业务办理时长环比每个月平均业务办理时长环比系统根据“平均业务办理时长”绩效指标计算每月平均值，可计算每月环比值系统计算12.基层用户满意度指各级业务工作人员对项目使用的满意程度。各级业务工作人员对项目使用的满意程度基层用户满意度从公共数据平台接口获取“基层用户满意度''结果系统对接13.社会公众满意度是指社会公众对项目使用的满意程度。社会公众对项目使用的满意程度社会公众满意度从公共数据平台接口获取“社会公众满意度”结果系统对接14.数据目录生产主要评价应用按公共数据条例要求编制公共数据目录的情况。系统完成的数据目录编目数/公共资源系统中所有系统数据目录编目数平均值*80数据目录生产从公共数据平台接口获取“数据目录生产''结果系统对接15.数据归集量主要评价应用在评价周期内数据归集情况。数据归集数量/所有系统数据归集平均值*80数据归集量从公共数据平台接口获取“数据归集量”结果系统对接16.数据变化率主要评价应用中数据动态更新的情况。每个月数据归集量环比数据变化率根据“数据归集量”绩效指标计算每月平均值，可计算每月环比值系统计算指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）17.数据准确率主要评价归集的数据完整、准确、真实情况。I（X）-应用中问题数反馈量/公共资源系统中所有应用系统问题数平均反馈量*80数据准确率从公共数据平台接口获取“数据准确率''结果系统对接18.数据可用率主要评价归集数据可用情况。被应用的数据条目量/系统中的数据条目总量*100数据可用率从公共数据平台接口获取“数据可用率”结果系统对接19.系统可用性主要评价服务或服务组件在指定的时间或时间段完成要求功能的能力。（应用运行时间-应用停机时间）/应用运行时间系统运行时间在PLMS上登记“健康地址''信息。定期判断地址是否可以访问，如周期内访问均失败视为停机，开始计算累计时间（已报备过的停机时间不计算在内）系统填报系统停机时间（如为浙里办、浙政钉已经埋点的应用可以通过接口获取结果）20.代码安全审计主要评价应用是否按要求完成两端代码安全审计。是否进行两端代码安全审计（是/否）代码安全审计完成情况从公共数据平台接口获取“代码安全审计”结果系统对接21.等级保护测评主要评价是否按要求完成等级保护测评。等级保护测评=等级保护测评的得分值等级保护测评得分在PLMS上登记“等级保护测评”信息系统填报指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）22.数据安全保护措施主要评价应用在数据目录范围内，是否落实相关技术保护规范要求。数据安全保护措施=（是否进行数据备份+是否具备数据库审计+是否对编目数据进行分类分级+分类分级结果是否合理）/4数据安全保护措施得分在PLMS上登记“数据安全保护措施”信息系统填报23.安全管理运行制度主要评价各项安全制度建设及落实情况。（安全管理制度+安全管理机构+安全管理人员+安全建设管理+安全运维管理）/5安全管理制度在PLMS上登记“安全管理制度、安全管理机构、安全管理人员、安全建设管理、安全运维管理”的结果系统填报安全管理机构安全管理人员安全建设管理安全运维管理24.网络安全隐患整改率主要评价网络安全风险隐患的及时整改情况。网络安全隐患整改率=监管部门通报后及时整改完成的安全隐患事件数量/监管部门通报的网络安全隐患事件数量。监管部门通报后及时整改完成的安全隐患事件数量从公共数据平台接口获取“监管部门通报后及时整改完成的安全隐患事件数量、监管部门通报的网络安全隐患事件数量”的结果系统对接监管部门通报的网络安全隐患事件数量指标类型指标名称指标定义计算方法指标数据归集说明归集方式二、辅助指标（25个）25.安全事件主要评价发生信息安全事件的情况。100-（特别重大事件（I级）或重大事件（II级）个数）*100一较大事件（In级）个数*60一般事件（IV级）个数*20。重大事件个数从公共数据平台“重大事件个数、较大事件个数、一般事件个数”结果系统对接较大事件个数一般事件个数三、X业务指标X业务指标核心业务指标由各单位自主设定，确定应用的核心业务，定义指标内容，确定可度量的业务价值目标；提供指标相关源数据和计算方法，采集源数据，进行指标计算。由应用覆盖的本单位核心业务情况确定，原则上每个核心业务不超过3个指标。/各应用自定义业务指标信息，并实时写入日志“X业务指标''自动推送到日志数据仓，系统自动获取结果日志归集