公共绩效评价指标的设置.docx

公共绩效评价指标的设置评价小组开发设计的评价指标框架应涵盖项目全部内容（即所有子项目及其目标）的全面绩效。一般而言，对于包含多个地区、多个子项目的情况，在二级或三级指标（比如项目进度、产出、预算执行吻合度、绩效目标完成率等指标）下可按照子项目或项目地区再设立三级或四级指标，但要注意不能遗漏子项目或项目活动（如技援或能力建设子项目等）。对于各个子项目活动内容差异很大、缺乏共性的综合型项目，可以考虑针对某个（些）子项目设计单独的评价指标框架。但这样做将大大增加评价的工作量，应斟酌采用。评价指标需要评价小组根据被评项目的内容、特点以及评价目的具体开发确定。开发评价指标的目的：一是某些关键评价问题包含多项评价内容，需要用若干个评价指标加以区分；二是评价指标能够体现项目的特点；三是针对评价指标收集回答关键评价问题的证据，可以避免无关信息；四是评价指标能够直观地分析关键评价问题，得出评价结果。如上一节所述，每个关键评价问题下包含多项评价内容，可设为二级评价指标，即每个关键评价问题对应若干个二级评价指标。如果二级指标又需要根据项目组成或项目目标等分解为若干个子问题或子目标，则二级指标下还可再设三级指标。评价指标的开发至关重要，它在一定程度上决定着证据及其来源的确定、证据收集方法的选择和分析评价等活动。专栏列出了开发评价指标应遵循的基本原则。如果评价指标不能满足这些原则，将影响到绩效评价的质量，进而影响评价结果的应用。专栏开发评价指标的基本原则(SMART原则)具体(Specific)：指标定义清晰，不产生歧义；可衡量(MeaSUrabIe)：有确定的评价基准对其进行衡量和分析；可实现(Achievab1.e)：在现实条件下可以收集到相关证据；相关(Re1.evant)：指标与对应的关键评价问题相关，能够为管理提供有用信息；限定时间(Time-bound)：具有限定的时间范围。相关性在开发相关性评价指标前，评价小组首先要明确项目目标,要检查项目目标是否经过修改，修改后的目标是否得到国际金融组织和中方政府的批准。如果项目目标经过修改且已获得国际金融组织和中方政府批准，就应根据修改后的项目目标开发评价指标。表2相关性评价指标开发(完工项目)以水环境治理项目为例准贝关键评价问题评价指标相关性1.I项目目标和内容设计是否符合当前国家、行业和所在区域的发展战略和政策重1.1.I项目评价时，项目目标与中国在供水领域推进区域供水一体化，提高城乡饮用水水质方面战略和政策的吻合度点？1.1.2项目评价时，项目目标与中国在推进污水治理，整治乡镇水环境方面战略和政策的吻合度1.1.3项目评价时，项目目标与宁波市推进区域供水一体化，提高城乡饮用水水质方面战略和政策的吻合度1.1.4项目评价时，项目目标与宁波市推进污水治理，整治乡镇水环境方面战略和政策的吻合度1.2项目提供的产品和服务能否解决国家、行业和所在区域经济社会发展中的实际问题和需求？1.2.1项目评价时，项目产出是否针对宁波市推进中心城区供水一体化及提高城乡饮用水水质方面的实际需求1.2.2项目评价时，项目产出是否有效满足慈溪县域污水治理的实际需求专栏水环境治理项目简介水环境治理项目是由世界银行提供贷款建设的项目，目标是应对宁波面临的两大水危机：经常性缺水和水质低。为了提高城市饮用水的水质，实行优水优用，调整供水网络体系，实施大网分质供水，实现城乡供水一体化，统一治理县域水环境，宁波市向世行申请实施该项目。该项目总投资2.91亿美元，其中利用世行贷款1.3亿美元。项目目标主要有两个：一是增加来自宁波高质可靠水源的生活用水的百分比；二是提高慈溪市市政污水和工业污水处理率。该项目包括三个子项目：宁波供水子项目、慈溪污水子项目，以及能力建设和技术援助项目。项目于2005年2月开工，2010年12月完工。资料来源：国际金融组织贷款城建环保项目绩效评价典型案例汇编（2011）表3相关性评价指标开发（在建项目）以城市环境项目（AP1.三期）为例准则关键评价问题评价指标相关性1.1项目目标和内容设计是否符合当前国家、行业和所在区域的发展战略和政策重点？项目目标与中国城市环境综合治理发展战略和政策重点的相符程度项目内容与上海市水利、城建环保规划中优先发展重点相符程度1.2项目提供的产品和服务是否针对当前国家、行业和所在区域经济社会发展的实际问题和需求？项目产出是否符合当前上海市城市发展对原水及其水质的需求项目产出设计是否围绕上海市郊区水务及污水行业可持续发展的问题专栏4世界贷款上海城市环境项目（AP1.三期）简介AP1.三期项目是由世界银行提供贷款建设的项目，目标是协助上海市（借款人）通过在水务及污水行业的战略性重点投资和选择性机构改革，改善其中心城区和区（县）的资源和环境可持续性。AP1.项目旨在建设一个环境友好型和可持续性的城市，改善上海的供水能力和污水管理从而提高居民的生活质量，实现国家和上海市的环境计划。项目实施后，城市的污水收集和处理能力将有所提高，供水能力将有所加强，城市环境将有所改善。其中AP1.三期将继续深化环境工作，改善城市综合环境质量，主要关注上海市郊区的整体原水供水和排水系统，并为城市郊区环境服务建立一个可持续的财务系统。AP1.三期项目包括三部分内容：南汇支线工程、白龙港南线工程、郊区融资工具DFV项目。AP1.三期项目计划总投资约30亿元人民币，其中世行贷款2亿元美元。项目于2009年9月签订贷款协定，计划于2015年6月关账。资料来源：国际金融组织贷款在建项目绩效评价典型案例（2012年）效率针对效率的关键评价问题，评价小组首先要明确项目的计划和实际的实施周期、项目的资金预算及使用情况、项目预期要开展的和实际开展的活动、项目的预期和实际产出、项目是否测算其经济内部收益率、如有预期值是多少。然后基于这些内容开发评价指标。对于问题2.1和2.2,应尽量使用项目评估文件或设计文件中的产出指标，这是因为：（1）项目设计的指标是经过国际金融组织和国内管理部门同意的，通过这些指标衡量项目产出的结果更能获得双方的认同；（2）项目单位主要是针对这些指标进行监测和数据收集，所以评价小组更容易获得评价证据。如果评价小组认为项目设计的产出指标存在重大缺陷，无法对产出进行客观的衡量，可以设计新的指标，但要与项目办和管理部门协商，并考虑证据收集的难度和成本。表4效率评价指标开发（完工项目）以水环境治理项目为例准则关键评价问题评价指标效率2.1项目是否按计划进度实施和完工，并实现了所有预期产出？2.1.1项目是否按计划的时间周期实施并完工开工时间吻合度完工时间吻合度2.1.2项目是否实现了预期产出供水子项目完成率污水子项目完成率移民计划实现度机构加强与培训子项目产出的实现度技术援助项目完成率2.2项目预算2.2.1预算执行宁波供水项目实际资是否按计划投入和使用？吻合度金使用与预算的吻合度慈溪污水项目实际资 金使用与预算的吻合 度2.2.2资金到位 率贷款资金到位率(%)配套资金到位率(%)2.2.3资金使用 合法合规性项目违规资金总额占 项目资金总额的比重 (%)2.3 项目管理及内部控制是 否到位并能确 保项目有效实 施？2.4 项目的资源投入是否经 济有效？项目 内容设计和实2.3.1是否在省、市、县相关各级有专门的项目管理办公室，并配备足够的人员。2.3.2是否分类制定了相关的管理制度和实施细则，并落实到位。2.3.3各级管理机构职责是否清晰、适当2.3.4是否有有效的信息收集及反馈渠道2.4.1项目实际经济内部收益率与预期经济内部收益率的相符程度。2.4.2项目的创新性设计提高效率和效果的程度施机制是否有一定的创新性？表5效率评价指标开发（在建项目）以城市环境项目（AP1.三期）为例准则关键评价问题评价指标效率2.1项目是否按计划进度实施，并实现了相应的阶段性产出？2.1.1项目是否按计划的时间周期实施并完工项目开工的及时性项目预期和实际的实施周期相符程度2.1.2项目是否按计划实现了阶段性产出项目移民安置工作的实施情况与预计进度的相符程度项目环境评价的实施情况与预计进度的相符程度项目招标采购的实施情况与预计进度的相符程度项目工程建设的实施情况与预计进度的相符程度课题研究子项目的实施情况与预计进度的相符程度2.2项目预算是否按计划投入和使用？2.2.1外方资金到位率2.2.2配套资金到位率2.2.3资金按计划使用率2.3项目管理及内部控制是否到位并确保项目有效实施？2.3.1是否有专门的项目管理办公室2.3.2是否制定了相关的管理办法和实施细则2.3.3是否有有效的风险防控措施2.3.4是否有有效的信息收集渠道2.4项目的资源投入是否经济有效？项目内容设计和实施机制是否有一定的创新性？2.4.1项目的投入产出与成本有效性原则的相符程度2.4.2项目的创新性设计提高效率和效果的程度效果在开发效果评价指标前，评价小组要明确项目的绩效目标,项目提供的产品或服务是什么，项目的目标群体是谁。绩效目标应以项目评估文件或项目设计文件中确定的绩效目标为准，并以此开发评价指标，原因见上一节“效率”中的解释。在开发效果评价指标时应综合考虑项目的经济效益、社会效益和环境效益三个方面，并对应既定的绩效目标，逐一设计评价指标。表6效果评价指标开发(完工项目)以世界银行贷款宁波水环境治理项目为例准则关键评价问题评价指标效果3.1项目是否实现了绩效目标？3.1.1供水子项目预期绩效目标完成率宁波市中心城区高质量和可靠的水源供水的百分比从10%增力口75%实际替换小水厂供水量占项目设计时计划替换小水厂供水量的比例()出厂水水质综合合格率(%)管网水水质综合合格率(%)宁波市自来水总公司供水能力提高比率供水子项目实施单位成本回收率3.1.2污水子项目绩效目标完成率污水子项目中心城区企业接入市政管网比率污水子项目慈溪乡镇污水管网接入率污水子项目东厂和北厂污水处理率污水子项目东厂和北厂出水水质达标率污水处理费收费率污水子项目项目实施单位成本回收率3.2项目实际受益群体是否是项目的目标受益群体？3.2.1项目对受益群体的瞄准度供水子项目受益覆盖率(%)污水子项目受益覆盖率(%)3.2.2项目受益群体满意度供水子项目受益群体满意度(%)污水子项目受益群体满意度(%)表7效果评价指标开发(在建项目)以世界贷款上海城市环境项目(AP1.三期)为例准则关键评价问题评价指标效果3.1项目是否实现了阶段性绩效目标？项目绩效目标当前实现程度预期项目完工时能否实现计划成果3.2项目的目标受益群体定位是否适当？且预计项目实际受益群体是否是项目的目标受益群体？项目对受益群体的瞄准度预计实际受益群体数量是否达到预期目标可持续性开发可持续性评价指标时，评价小组应从资金来源、还款机制等方面考察其财务可持续性，从管理部门和人员的可持续性、政策制度的保障能力、经济社会环境的变化等方面考察其实施运转的可持续性，从实物产出、服务供给、经济社会环境效益、外部有效性等方面考察其绩效的可持续性。表8可持续性评价指标开发（完工项目）以世界银行贷款宁波水环境治理项目为例准则关键评价问题评价指标可持续性4.1项目财务是否具有可持续4.1.1运营和维护经费能否持续满足需要供水项目市自来水水费调整幅度污水项目市污水处理费调性？整幅度4.1.2能否按时偿还贷款省级到期还款率（%）地（市）、县（区）到期还款率（%）项目单位到期还款率（%）财政资金垫付率（%）还款准备金充足率（%）4.2项目后期运营是否具有可持续性？4.2.1机构可持续性负责项目完工后运行管理工作的机构及制度存在与否4.2.2人力资源可持续性负责项目完工后运行管理工作的人员存在与否4.2.3政策、机制安排可持续性环境改善、污染控制政策的可持续性供水政策的可持续性公共事业价格政策及机构改革的可持续性4.3项目绩效是否具有可持续性？或者4.3.1产出有效利用率正常使用率项目运转负荷是否达到设计生产能力4.3.2项目产项目产出运行和维护的资项目创新出能否得到及金充足与否内容是否具有示范性和可推时维护项目产出运行和维护的保障制度存在与否4.3.3项目创新内容能否在其他地市复制广性？表9可持续性评价指标开发（在建项目）以世界贷款上海城市环境项目（AP1.三期）为例准则关键评价问题评价指标可持续性4.1项目财务是否具有可持续性？4.1.1项目资金是否能满足项目实施的需要4.1.2项目是否能按时偿还贷款各级还款协议签署和还贷责任落实情况还贷资金落实可能性地方财政还贷准备金的储备情况4.2项目实施是否具有可持续性？4.2.1当前经济社会环境是否存在阻碍项目实施的因素4.2.2项目政策可持续性4.2.3项目运行机构可持续性