会计师事务所财政支出绩效评价业务指引(征求意见稿)
目录
第一章概述............................................................1
一、会计师事务所从事财政支出绩效评价业务的背景.................................................1
(一)预算法关于绩效评价的相关规定........................................................................1
(二)财政部对绩效评价工作的相关规定....................................................................1
(三)会计师事务所绩效评价工作的开展情况............................................................2
(四)绩效评价是注册会计师行业的新业务领域........................................................3
二、相关概念.......................................................................................................................3
(一)绩效目标................................................................................................................3
(二)经济性....................................................................................................................4
(三)效率性....................................................................................................................4
(四)效益性....................................................................................................................4
(五)绩效评价的基本内容............................................................................................5
(六)绩效评价遵循的基本原则....................................................................................5
(七)绩效评价的主要依据............................................................................................5
三、本指引的定位和使用说明...........................................................................................5
第二章财政支出绩效评价业务的承接.......................................7
一、承接绩效评价业务的前提条件...................................................................................7
(一)被评价单位认可并理解其责任............................................................................7
(二)绩效评价人员的专业胜任能力............................................................................7
(三)绩效评价人员的职业道德要求............................................................................7
二、签订绩效评价业务约定书...........................................................................................8
第三章计划评价工作和编制评价方案.......................................9
一、了解项目....................................................................................................................9
二、设计绩效评价指标体系..........................................................................................10
(一)绩效评价指标......................................................................................................10
(二)绩效评价标准......................................................................................................11
(三)绩效评价指标的权重..........................................................................................12
三、绩效评价方法..........................................................................................................13
四、评价人员的委派和分工..........................................................................................14
五、利用专家工作的特殊考虑......................................................................................14
六、时间及主要工作进度安排......................................................................................15
七、绩效评价工作方案的编写......................................................................................15
(一)项目概况..............................................................................................................16
(二)评价思路..............................................................................................................16
(三)绩效评价指标体系..............................................................................................17
(四)绩效评价方法......................................................................................................17
(五)评价工作的组织实施..........................................................................................17
第四章绩效评价的具体实施..............................................19
一、收集数据时的相关考虑.............................................................................................19
二、数据收集方法.............................................................................................................20
(一)文件检查..............................................................................................................20
(二)二次分析和文献检索..........................................................................................20
(三)调查或问卷..........................................................................................................20
(四)访谈......................................................................................................................21
(五)研讨会..................................................................................................................21
(六)焦点小组..............................................................................................................21
(七)观察......................................................................................................................21
三、证据的可靠性、相关性和充分性..............................................................................23
(一)证据的可靠性......................................................................................................23
(二)证据的相关性......................................................................................................23
(三)证据的充分性......................................................................................................23
四、证据的类型和特征.....................................................................................................24
(一)实物证据..............................................................................................................24
(二)口头证据..............................................................................................................24
(三)书面证据..............................................................................................................24
(四)分析性证据..........................................................................................................25
五、分析解读信息.............................................................................................................25
第五章IT环境下的绩效评价..............................................27
一、评价工作的流程.........................................................................................................27
二、需要考虑的问题.........................................................................................................27
三、计划评价工作.............................................................................................................28
四、计算机辅助评价技术的运用.....................................................................................28
第六章形成评价结论和编写评价报告......................................29
一、形成结论时需要考虑的问题.....................................................................................29
二、报告的主要内容.........................................................................................................30
三、报告的质量要求.........................................................................................................30
四、报告的分发和使用.....................................................................................................31
第七章绩效评价业务的质量控制..........................................32
一、人力资源.....................................................................................................................32
二、组织构建.....................................................................................................................32
三、工作底稿和档案管理.................................................................................................32
四、信息化.......................................................................................................................331
第一章概述
一、会计师事务所从事财政支出绩效评价业务的背景
预算绩效管理是**绩效管理的重要组成部分,加强预算绩效管理,有利于提升预算管理水平、增强单位支出责任、提高公共服务质量、优化公共资源配置、节约公共支出成本。在财政部《预算绩效管理工作规划(2012-2015年)》中,提出建立“预算编制有目标、预算执行有监控、预算完成有评价、评价结果有反馈、反馈结果有应用”的全过程预算绩效管理机制,实现预算绩效管理与预算编制、执行、监督有机结合。
(一)预算法关于绩效评价的相关规定
规范和加强财政预算绩效评价工作,是预算法的要求。预算法在其总则中要求各级预算应当遵循统筹兼顾、勤俭节约、量力而行、讲求绩效和收支平衡的原则。
在预算编制过程中,要求各级预算应当根据年度经济社会发展目标、国家宏观调控总体要求和跨年度预算平衡的需要,参考上一年预算执行情况、有关支出绩效评价结果和本年度收支预测,按照规定程序征求各方面意见后,进行编制。各部门、各单位应当按照国务院财政部门制定的**收支分类科目、预算支出标准和要求,以及绩效目标管理等预算编制规定,根据其依法履行职能和事业发展的需要以及存量资产情况,编制本部门、本单位预算草案。
在预算审查和批准方面,要求省、自治区、直辖市、设区的市、自治州人民代表大会有关专门委员会,县、自治县、不设区的市、市辖区人民代表大会常务委员会,向本级人民代表大会主席团提出关于总预算草案及上一年总预算执行情况的审查结果报告。审查结果报告其中的一项内容是对执行年度预算、改进预算管理、提高预算绩效、加强预算监督等提出意见和建议。
在预算执行方面,要求各级**、各部门、各单位应当对预算支出情况开展绩效评价。
(二)财政部对绩效评价工作的相关规定
根据财政部《关于印发<财政支出绩效评价管理暂行办法>的通知》(财预〔2011〕285号),财政支出绩效评价(以下简称绩效评价)是指财政部门和预算部门(单位)根据设定的绩效目标,运用科学、合理的绩效评价指标、评价标准和评价方法,对财2
政支出的经济性、效率性和效益性进行客观、公正的评价。各级财政部门和各预算部门(单位)是绩效评价的主体。
绩效评价的对象是纳入**预算管理的资金和纳入部门预算管理的资金。按照预算级次,可分为本级部门预算管理的资金和上级**对下级**的转移支付资金。部门预算支出绩效评价包括基本支出绩效评价、项目支出绩效评价和部门整体支出绩效评价。绩效评价以项目支出为重点,重点评价一定金额以上、与各部门职能密切相关、具有明显社会影响和经济影响的项目,有条件的地方可以对部门整体支出进行评价。目前,预算绩效评价工作在各地进行了有效试点,并在有序扩大实施范围。
财政部《关于印发<预算绩效管理工作规划(2012-2015年)>的通知》(财预〔2012〕396号)中提出,在强化财政部门、预算部门绩效评价主体功能的同时,探索引入第三方评价。第三方评价可以在接受财政或预算部门委托的情况下独立开展,可对部门基本支出、部门项目支出、部门支出管理和财政综合支出进行绩效评价。这为会计师事务所积极发挥专业技术优势服务财政预算管理提供了平台和空间。
(三)会计师事务所绩效评价工作的开展情况
绩效评价工作的方式方法目前正在不断发展和完善的过程中,越来越多的会计师事务所参与到财政支出绩效评价工作中。从实践情况来看,会计师事务所参与的绩效评价以项目支出的评价居多。不同地区情况不同,有的地区会计师事务所按照委托方的具体要求执行工作,不独立出具评价报告,独立进行的判断和承担的责任较少;有的地区会计师事务所则是受委托方的委托,开展绩效评价业务并独立出具评价报告,相对独立地作出更多决策和判断。
财政部《关于推进预算绩效管理的指导意见》(财预〔2011〕416号)提出,预算绩效管理是一个由绩效目标管理、绩效运行跟踪监控管理、绩效评价实施管理、绩效评价结果反馈和应用管理共同组成的综合系统。实务中,从评价阶段的角度来看,绩效评价可以分为三类:
(1)事前评价,是指在编制预算时,对项目的必要性、可行性、绩效目标、项目内容等进行研究论证,并提出评价建议,作为资金分配的参考依据;
(2)事中评价(跟踪评价),是指在预算执行阶段,对绩效目标的完成情况进行跟踪评价和检查;
(3)事后评价,是指在预算执行完成后,对财政支出的经济性、效率性和效益性进行评价。3
从各地会计师事务所的业务实践来看,事后评价开展的相对较多,事前评价和事中评价尚未普遍展开。
(四)绩效评价是注册会计师行业的新业务领域
对于注册会计师行业而言,绩效评价工作是一项具有广阔发展前景的新业务领域。中国注册会计师协会鼓励、引导会计师事务所拓展绩效评价业务,并提供相应的支持。《中国注册会计师行业发展规划(2011-2015年)》中对开发承接投资绩效评价作出了规划,支持、鼓励和推动注册会计师专业方向院校开设投资绩效评价等课程及专业方向建设,同时通过各种方式大力开展绩效评价业务培训,培养绩效评价业务领域人才。
二、相关概念
(一)绩效目标
绩效目标是绩效评价的对象计划在一定期限内达到的产出和效果,由预算部门在申报预算时填报。预算部门年初申报预算时,应当按照相关规定将绩效目标编入年度预算;执行中申请调整预算的,应当随调整预算一并上报绩效目标。
绩效目标应当包括以下主要内容:
(1)预期产出,包括提供的公共产品和服务的数量;
(2)预期效果,包括经济效益、社会效益、环境效益和可持续影响等;
(3)服务对象或项目受益人满意程度;
(4)达到预期产出所需要的成本资源;
(5)衡量预期产出、预期效果和服务对象满意程度的绩效指标;
(6)其他。
绩效目标应当符合下列要求:
(1)指向明确。绩效目标要符合国民经济和社会发展规划、部门职能及事业发展规划,并与相应的财政支出范围、方向、效果紧密相关;
(2)具体细化。绩效目标应当从数量、质量、成本和时效等方面进行细化,尽量进行定量表述,不能以量化形式表述的,可以采用定性的分级分档形式表述;
(3)合理可行。制定绩效目标时要经过调查研究和科学论证,目标要符合客观实际。4
(二)经济性
经济性是成本与投入的关系,是指以最低费用取得一定数量和质量的资源,即预算支出是否节约。
在评价经济性时,可能考虑的因素举例如下:
(1)选择的方式或者取得的设备(即投入)是否是对公共资金最经济的使用;
(2)人力、物力和财力是否已被经济使用;
(3)管理活动是否符合良好的管理原则和管理政策。
对经济性进行评价通常是困难的,提出在不影响服务质量和数量的情况下降低成本的建议则更为困难。
(三)效率性
效率性是投入和产出的关系,包括是否以最小的投入取得一定的产出或者以一定的投入取得最大的产出。通过与类似活动、其他期间或已采纳的标准进行比较,可以形成效率性方面的结论。有时也可能以最佳实务等作为比较标准。如果无法通过与标准的对比得出结论,可能依据所能获取的信息、观点以及在评价过程中的分析进行评价。
在评价效率性时,可能考虑的因素举例如下:
(1)人力、财力和其他资源是否得到有效运用;
(2)项目、实体和活动是否得到有效管理、组织、执行、监控和评价;
(3)**实体的活动是否符合规定的目标和要求;
(4)公共服务是否以客户为导向并且及时提供;
(5)项目目标的实现是否成本有效。
(四)效益性
效益性是产出与目标的关系,是指多大程度上达到政策目标、经营目标和其他预期结果。
在评价效益性时,可能考虑的因素举例如下:
(1)经济效益;
(2)社会效益;
(3)生态效益;
(4)可持续影响;
(5)社会公众或服务对象满意度;5
(6)确认哪些因素阻碍令人满意的绩效目标的实现;
(7)在识别使**活动和项目更加优秀的途径时,对结论和原因进行分析。
(五)绩效评价的基本内容
1.绩效目标的设定情况;
2.资金投入和使用情况;
3.为实现绩效目标制定的制度、采取的措施等;
4.绩效目标的实现程度及效果;
5.绩效评价的其他内容。
(六)绩效评价遵循的基本原则
1.科学规范原则。绩效评价应当严格执行规定的程序,按照科学可行的要求,采用定量与定性分析相结合的方法;
2.公正公开原则。绩效评价应当符合真实、客观、公正的要求,依法公开并接受监督;
3.分级分类原则。绩效评价由各级财政部门、各预算部门根据评价对象的特点分类组织实施;
4.绩效相关原则。绩效评价应当针对具体支出及其产出绩效进行,评价结果应当清晰反映支出和产出绩效之间的紧密对应关系。
(七)绩效评价的主要依据
1.国家相关法律、法规和规章制度;
2.各级**制定的国民经济与社会发展规划和方针政策;
3.预算管理制度、资金及财务管理办法、财务会计资料;
4.预算部门职能职责、中长期发展规划及年度工作计划;
5.相关行业政策、行业标准及专业技术规范;
6.申请预算时提出的绩效目标及其他相关材料,财政部门预算批复,财政部门和预算部门年度预算执行情况,年度决算报告;
7.人大审查结果报告、审计报告及决定、财政监督检查报告;
8.其他相关资料。
三、本指引的定位和使用说明
本指引根据《关于印发<财政支出绩效评价管理暂行办法>的通知》(财预〔2011〕285号)、《关于印发<预算绩效管理工作规划(2012-2015年)>的通知》(财预6
〔2012〕396号)、《关于印发<预算绩效评价共性指标体系框架>的通知》(财预〔2013〕53号)等相关规定制定,用于指导会计师事务所开展财政支出绩效评价业务。
本指引在会计师事务所受委托方委托,对被评价单位的财政支出(项目支出)进行事后评价、独立出具报告的基础上编写。会计师事务所开展其他类型绩效评价业务,可根据具体情况参考使用。
需要注意的是,在开展绩效评价过程中,财政部门对绩效评价组织管理和工作程序已有要求的,会计师事务所需要遵守相关要求。7
第二章财政支出绩效评价业务的承接
一、承接绩效评价业务的前提条件
(一)被评价单位认可并理解其责任
被评价单位认可并理解其责任,是绩效评价人员执行绩效评价工作的前提。被评价单位的具体责任包括:
(1)设定绩效目标;
(2)设计和实施恰当的内部控制(包括预算管理制度等),保证经济、有效和合法地使用预算资金;
(3)对绩效目标完成情况进行总结分析并编制绩效报告;
(4)及时为评价工作提供必要的工作条件,包括提供真实、合法、完整的基础资料,允许评价人员不受限制地接触执行评价工作所需的相关信息等。
(二)绩效评价人员的专业胜任能力
绩效评价是一项复杂的调查工作,要求具有高水平的分析技能。因此,绩效评价人员需要接受过良好的教育,具有一定的学历和调查/评估方面的工作经验,具有足够的专业熟练程度,以及良好的个人品质(分析能力、创新能力、接受能力、社交技巧、诚实公正、判断力、承受能力、良好的口头表达和书面沟通等能力),以有效开展评价工作。
会计师事务所在委派绩效评价人员时,需要考虑其是否具备:
(1)绩效评价相关知识,以及运用这些知识所需的技能和经验;
(2)与**组织、项目和职能相关的知识;
(3)清楚有效地进行口头和书面沟通的技能;
(4)与具体评价业务相关的特殊技能(如统计、信息技术、工程等)。
(三)绩效评价人员的职业道德要求
在开展绩效评价工作过程中,评价人员需要恪守诚实、客观和公正的原则,保持胜任能力和应有的关注,保持职业怀疑态度,履行保密义务,维护职业声誉。8
(1)客观和公正
评价人员需要公正处事、实事求是,不应由于偏见、利益冲突或他人的不当影响而损害自己的职业判断。
会计师事务所委派评价人员时,应当考虑其是否与被评价单位存在利害关系或可能影响公正性的其它情况,在事务所内部设置相应的回避制度和程序,以避免对客观和公正性产生影响。
评价人员不得向被评价单位索取、收受合同约定以外的酬金或其他财物,或者利用业务之便,谋取其他不正当利益。
(2)职业怀疑态度
职业判断是绩效评价工作中最重要的内容,评价人员在整个评价过程中需要保持职业怀疑态度,识别可能导致绩效信息发生重大错报的情况是否存在。
(3)保密要求
评价人员应当对绩效评价工作中获知的信息保密,不得未经适当授权或法律法规允许,向不相关的其他方披露所获知的信息,或利用所获知的信息为自己或他人谋取利益。
对于委托方在业务约定书及其它沟通文件中所明确的专门的保密要求,工作组还需要专门设置适当的程序,以履行具体的保密条款的要求。
二、签订绩效评价业务约定书
在决定承接绩效评价业务后,会计师事务所需要与委托方(通常是财政部门或预算部门)就业务约定条款达成一致意见,并记录于业务约定书或其他适当形式的书面协议中。业务约定条款具体包括绩效评价的对象和内容、各方责任、业务收费、合同终止条款、违约责任等。
会计师事务所根据具体评价业务情况确定委派人员的级别和时间投入,与委托方协商合理的业务收费。9
第三章计划评价工作和编制评价方案
评价人员需要合理计划评价工作,以及时、经济、高效地完成评价工作。在绩效评价中,审慎地制定绩效评价工作方案是必不可少的。在绩效评价现场勘查开始前,需要确定评价目标、评价范围以及评价方法,这可以通过前期调查的方式完成。评价计划用于引导评价人员系统地关注需要了解的事项、可能的信息来源以及获取信息的方法。
制定的评价计划需要具有可操作性。由于各项目的目标和范围差别很大,评价人员需要考虑,是否有相关的方法、标准以及能否高效地获取所需的信息和证据。其他需要考虑的问题包括是否符合相关法律法规要求,有无评价资源以及必要的专业技能,能否满足时间期限等。
一、了解项目
评价人员需要充分了解被评价项目或被评价单位的业务情况,以实现评价目标、识别重要评价事项和履行评价责任。一般来说,了解的内容包括下列方面:
(1)被评价项目的特点(角色和职能、常规行为和过程、发展趋势等);
(2)项目总体目标和绩效目标;
(3)组织结构和受托责任关系;
(4)内外部环境以及利益相关方;
(5)影响项目实施的外部制约因素;
(6)管理制度、业务流程和资源等方面的保障程度。
可能的信息来源举例如下:
(1)相关立法和立法机关的报告;
(2)部门声明、决策;
(3)科学研究和调查;
(4)组织结构图、内部指导文件和操作手册;
(5)行业调查以及专家的研究观点;10
(6)与被评价单位管理层和关键利益相关方的讨论结果;
(7)管理信息系统;
(8)其他相关信息系统(如办公统计数据);
(9)新闻报道。
对于具体项目支出的了解包括(但不限于):
(1)项目决策
查阅与项目相关的各级**部门制定的国民经济与社会发展规划、方针政策,以及相关行业政策和行业标准或专业技术规范,以了解项目决策的背景情况;查阅项目的可行性研究报告、立项报告、经财政部门批准的预算方案等,了解项目的决策情况;查阅被评价单位的工作计划和职能文件,了解被评价单位对项目执行的相关规划。
(2)项目管理
查阅项目的实施方案以及反映管理过程的相关资料(如项目招投标文件、工程监理报告等),了解项目的具体实施情况;通过与被评价单位管理人员沟通以及查阅被评价单位的相关管理制度和报告(如财务管理制度、项目相关账簿、专项审计报告等),了解预算资金的管理及具体使用情况。
(3)项目绩效
查阅反映项目完成情况和实施效果的相关证据资料(如项目完工验收报告、项目经费决算表、预算单位的绩效报告及项目执行情况报告等),了解项目实际的完成情况。
二、设计绩效评价指标体系
构建绩效评价指标体系是评价工作的关键一环,直接影响评价人员所需获取的相关证据资料和进行数据分析的重点,以及最终绩效评价结论的科学性。评价人员需要围绕资金使用、资源配置、项目管理等方面,客观分析项目的产出和效果,体现投入、过程到产出、效果的逻辑,科学编制绩效指标评价体系。
(一)绩效评价指标
绩效评价指标是指衡量绩效目标实现程度的考核工具。根据财政部《财政支出绩效评价管理暂行办法》的相关要求,绩效评价指标的确定应当遵循以下原则:
(1)相关性原则。应当与绩效目标有直接的联系,能够恰当反映目标的实现程度;11
(2)重要性原则。应当优先使用最具评价对象代表性、最能反映评价要求的核心指标;
(3)可比性原则。对同类评价对象要设定共性的绩效评价指标,以便于评价结果可以相互比较;
(4)系统性原则。应当将定量指标与定性指标相结合,系统反映财政支出所产生的社会效益、经济效益、环境效益和可持续影响等;
(5)经济性原则。应当通俗易懂、简便易行,数据的获得应当考虑现实条件和可操作性,符合成本效益原则。
绩效评价指标分为共性指标和个性指标。共性指标是指适用于所有评价对象的指标,主要包括预算编制和执行情况、财务管理状况、资产配置、使用、处置及其收益管理情况以及社会效益、经济效益等。个性指标是针对预算部门或项目特点设定的,适用于不同预算部门或项目的业绩评价指标。
财政部《预算绩效评价共性指标体系框架》提供了设置具体共性指标时的参考性框架,可以灵活选取最能体现绩效评价对象特征的共性指标。同时,要针对具体绩效评价对象的特点,另行设计具体的个性绩效评价指标。
在一些地区,针对某些财政支出类别,例如经济建设支出、财政支农支出、财政教育支出、财政科技支出、财政文化体育支出、财政卫生支出、财政社会保障支出、**采购支出、**运转支出等,试点设计了具有针对性的绩效评价指标,会计师事务所执行这些地区的绩效评价业务时需要予以考虑。
在设定指标时,工作组需要考虑相关的指标是否可以量化。对于可以量化的指标,通过对获取的资料进行计算分析,得出评价结果。对于无法量化的定性指标,可以通过专家经验判断、问卷测试、横向比较等方法取得判断基础或依据。在财政资金的使用存在违规行为时,视具体情形,可能采取“一票否决”的评价方法,降低绩效评价的等级。
(二)绩效评价标准
根据财政部《财政支出绩效评价管理暂行办法》的规定,绩效评价标准是指衡量财政支出绩效目标完成程度的尺度,具体包括:
(1)计划标准,是指以预先制定的目标、计划、预算、定额等数据作为评价的标准;
(2)行业标准,是指参照国家公布的行业指标数据制定的评价标准;12
(3)历史标准,是指参照同类指标的历史数据制定的评价标准;
(4)其他经财政部门确认的标准。
在实务中,评价人员在确定评价标准时可能考虑的因素举例如下:
(1)相关法律法规;
(2)立法机关或行政部门的决定;
(3)与历史信息以及最佳实务的比较;
(4)专业标准、经验和价值;
(5)被评价单位或**自己设定的关键绩效指标;
(6)独立专家的建议和技术诀窍;
(7)新的或已确立的科学知识和其他可靠的知识;
(8)类似评价中使用过的标准;
(9)一般性的管理和主题文献。
评价标准的基础可以从另一个角度来考虑:①从案例来看,最权威的来源是官方标准(如法律法规设立的目标,立法机构或行政部门采取的决定和政策);或②科学文献资料以及其他资源(如专业标准和最佳做法等)。
(三)绩效评价指标的权重
绩效评价指标的权重是指某一指标在整个绩效评价指标体系中的比重,应根据该指标在整体指标体系中的重要程度,选用科学方法,合理设置。
绩效评价指标体系一般从预算资金的投入、过程、产出、效果四个方面进行构建,而绩效评价关注的重点是评价对象的实际产出和结果。因此,在具体设置绩效评价指标的权重时,需要考虑提高产出类指标和效果类指标的权重,以使其在绩效评价指标的整体权重中占主导。
财政部《预算绩效管理工作规划(2012-2015年)》中提出“加快对绩效指标的研究设计和修订补充,初步形成涵盖各类各项支出,符合目标内容,突出绩效特色,细化、量化的绩效指标;加强各类标准值的收集和整理,初步形成体现计划、行业、专业、历史等各方面特点的各类评价标准;强化评价权重设置的研究,选用各种科学的方法,合理设置权重分值,构建体现相关性、重要性、系统性、经济性原则的绩效评价指标体系,并实现绩效评价指标体系的共建共享”。评价人员需要及时更新和掌握财政部门最新的绩效评价分类指标库,以在具体评价业务中有效设定绩效评价指标体系。13
三、绩效评价方法
绩效评价方法是指用于分析绩效数据,得出评价结论的各种经济分析、评估和评价方法。绩效评价方法的选用应当坚持简便有效的原则。根据评价对象的具体情况,可采用一种或多种方法进行绩效评价。
根据财政部《财政支出绩效评价管理暂行办法》的规定,绩效评价方法主要采用成本效益分析法、比较法、因素分析法、最低成本法、公众评判法等。
1.成本效益分析法
是指将一定时期内的支出与效益进行对比分析,以评价绩效目标的实现程度。结合预算支出确定的目标,比较支出所产生的效益和付出的成本,通过比较分析,选择最小成本取得最大效益的项目,但其适用范围具有一定的局限性。该方法主要适用于成本和效益都能准确计量的项目,如公共工程项目等。一般情况下,以社会效益为主的支出项目不宜采用此方法。
2.比较法
是指通过对绩效目标与实施效果、历史与当期情况、不同部门和地区同类支出的比较,综合分析绩效目标实现程度。比较法主要适用于财政项目资金管理,通常也通过一些案例的对比分析来进行方案的选择,进行评判。
3.因素分析法
是指通过综合分析影响绩效目标实现、实施效果的内外因素,评价绩效目标的实现程度。很多支出项目都用到因素分析法,通过不同因素的权重评比,进行综合分析。
4.最低成本法
是指对效益确定却不易计量的多个同类对象的实施成本进行比较,评价绩效目标的实现程度。在使用最低成本法的同时,需要明确不同对象的产出和结果,并适当选取其他方式综合进行绩效评价。
5.公众评判法
是指通过专家评估、公众问卷及抽样调查等对财政支出效果进行评判,评价绩效目标的实现程度。对于无法直接用指标计量其效益的支出项目,可以选择有关专家进行评估并对社会公众进行问卷调查,以评价其效益,适用于对公共部门和财政投资兴建的公共设施进行评价。14
绩效评价中,经常运用抽样调查来获取证据。虽然抽样的目标各有不同,但是原理基本相同。抽样可以是统计抽样,也可以是非统计抽样,均需运用判断。在绩效评价中,如有无法通过其他方式了解基本事实或者需要以结构化的方式进行比较或者总结,则抽样方法尤为适用。鉴于资源的有限性,样本规模一般不是很大,而且需要限制拟回答问题的数量。为了获得更加深入的了解,抽样技术还需辅以其它的信息收集技术,例如案例研究等。
案例研究的主要用途包括:对复杂的问题进行全面深入的分析;获取用来讨论的举例,核对其他信息;结合总体性的统计方法,说明和证实更大范围的结果。在确定案例研究的数量时,需要平衡调查的深度和广度。选择的案例包括成功以及不成功的案例,从而通过对比找出影响因素。
此外,实务中还存在一些其他的评价方法。
绩效评价中,需要区分评价方法和数据收集技术。绩效评价可能运用社会科学中的多种数据收集方法,比如调查、访问、观察以及检查书面文件等。目标是采用最佳实务,但是某些实际原因(例如数据的可获得性)可能限制方法的选择,即评价人员可能不得不选择次优的方案。在选择方法时,基本的原则是灵活务实。
在绩效评价中,评价人员特别需要关注收集、分析数据方法的有效性、可靠性:
(1)有效性:采用的方法必须与评价目标相适应;
(2)可靠性:如果在同一环境下重复调查工作,能够得出一致的结论。
四、评价人员的委派和分工
会计师事务所指定项目负责人,对具体绩效评价业务的总体质量负责。项目负责人指导、监督绩效评价人员按照相关规定执行评价工作,遵守会计师事务所质量控制政策和程序,以出具适合具体情况的评价报告。
会计师事务所委派评价人员,成立绩效评价工作组时,应当考虑相关人员的胜任能力。项目负责人需要确信工作组整体上具有适当的胜任能力并遵循相关的职业道德要求,能够按照业务约定书的约定高质量地完成评价业务。
五、利用专家工作的特殊考虑
绩效评价涉及范围广泛,评价过程中可能利用专家的工作,例如相关行业专家、绩效管理专家等,必要时还需要专家的全程参与。
在利用专家的工作之前,需要考虑相关专家的胜任能力和经验。如果当地财政部门对于专家聘任条件作了具体要求,会计师事务所聘用专家需要遵守其要求。实务15
中,有些地区的财政部门建立有专门的绩效评价专家库,在录取专家库成员时对相关专家的资格和经验作了适当考虑,这有助于会计师事务所对专家的选聘。
会计师事务所需要确保专家独立于被评价项目,并将条件和所需遵守的道德规范(如保密性要求和回避要求等)告知专家。
六、时间及主要工作进度安排
工作组需要根据业务约定,制定评价项目的工作计划,并与被评价单位进行沟通,以获得其理解和配合。
项目负责人监督评价工作的具体执行,以保证绩效评价业务按时完成。在评价工作分派至工作组成员后,项目负责人需要仔细指导、监督和复核分派的工作。在评价业务中,可以安排工作组内经验较多的人员复核经验较少人员的工作,并合理保证评价人员就疑难问题进行适当的咨询。监督工作要确保:
(1)全体工作组成员充分理解评价目标;
(2)评价程序充分且得以恰当执行;
(3)评价证据可靠、相关、充分并得以记录,以支持评价结论和建议;
(4)满足项目预算、时间表、计划安排的要求;
(5)与业务委托方和被评价单位充分沟通,及时征求意见。
七、绩效评价工作方案的编写
基于对项目的了解,工作组对选择的绩效评价指标体系、设定的绩效评价标准以及计划的工作安排进行书面记录,形成绩效评价工作方案。绩效评价工作方案是具体实施绩效评价的重要基础,是保障绩效评价质量的重要手段。
工作方案的编写既要符合方案写作的一般要求,又要结合绩效评价的工作特征和内在要求,体现可行性、全面性和简明性的特点。可行性是指方案设计要符合主客观条件,其实施内容、方法、步骤和时间节点安排要科学合理,具有可操作性。全面性是指工作方案要全面反映项目概况,包括评价对象、范围、步骤、方法、时间、组织实施等内容,明确指标体系和各项指标数据的采集方法和来源等。简明性是指方案编写要提纲挈领、简明扼要、易于理解。
项目负责人和项目关键人员参与工作方案的制定,对于恰当计划评价工作非常重要。实务中,评价工作方案的确定,可能需要包括委托方、评价人员、专家等在内的多方的参与和沟通。根据财政部门的具体要求,工作方案可能还需要经过适当形式的评审或财政部门的认同。16
绩效评价工作方案的主要内容举例如下:
(一)项目概况
1.项目立项的背景和目的
描述项目立项背景要简明扼要,描述项目立项目的要详细、明确、充分。
2.项目立项依据
描述项目立项依据,要逐条列示,注明出处和来源。
3.项目预算及资金来源
要全面完整地描述整个项目的预算情况、预算变更情况及变更原因。描述项目资金计划安排情况,包括资金来源、资金安排的起始时间、投入量等内容。
4.项目计划实施内容
重点包括项目立项时间、批复单位、项目具体内容(或政策受益条件及受益范围)、项目所在区域、具体资金投向、项目计划完成时间等要素。若项目在实施期内,要素发生变更的,则需说明变更的内容、依据及变更审批程序。
5.项目的组织及管理
重点包括项目主管部门和具体实施部门的名称及各自职责、项目管理组织架构、项目具体实施流程,以及项目业务管理和财务管理的核心管理制度。
6.利益相关方
确定项目的利益相关方,分析利益相关方参与项目设计、实施、运行、受益的路径。项目的相关利益方一般包括:项目相关的主管部门、项目单位、项目受益者(直接受益者、间接受益者)、社会公众等;描述利益相关方在项目不同阶段中的职责和作用。
7.项目绩效目标
明确项目绩效目标与立项目的的匹配性与可适性,以及项目绩效目标设立依据;反映项目绩效目标的实际设定情况,对绩效目标需要补充完善的,应提供相应依据。
8.其他
其他可能对项目绩效产生重要影响的情况。
(二)评价思路
1.评价目的和依据
评价目的是通过评价所要实现的目标,体现评价的最终价值,是整个评价工作的基本导向,解决为什么评价的问题。17
评价依据是要回答依据什么评价的问题,即要阐明法律、政策、技术、管理等支撑条件,包括行业方面和财政方面。
2.评价对象和范围
评价对象和范围要完整、准确表述。
3.评价时段的确定
根据项目实际情况,确定本次评价的时段,避免评价资源的耗费。
(三)绩效评价指标体系
绩效评价指标体系设计是绩效评价的核心和难点,重点包括指标框架、指标权重和评价标准等方面。指标设置要考虑其实用性、可操作性和可实现性,要能充分体现和真实反映项目的绩效状况和绩效目标的完成情况。
1.指标体系设计的总体思路
在方案中概括阐述指标设计思路、指标设计依据、权重设计思路、数据来源及取数方式、评价标准及评分方式确定的原则和方法。
2.指标体系
共性指标可从《预算绩效评价共性指标体系框架》中选择,个性指标要根据项目的实际情况制定。
3.各项指标定义、评价标准、评分细则
针对每个指标编写对应的绩效评价指标底稿,包括指标解释、指标权重、评价标准、数据来源及取数方式。
(四)绩效评价方法
为获取评价证据而开展的各种形式的调查。说明调查的目的、对象、方式、内容。需要抽样调查的,要说明样本总体、抽样方法和抽样比例。
(五)评价工作的组织实施
1.人员分工
清晰界定各相关方人员(包括专家)的权利及责任,确保评价工作有序开展。
2.评价时间及主要工作进度安排
重点对相关活动、相关工作按阶段或进程作具体的时间安排,包括评价期间、评价实施时限及各工作环节(步骤)的时间节点。
3.内部控制制度18
内部控制制度是指为保证绩效评价过程、结果的客观性、准确性而制定的内部控制机制和程序。19
第四章绩效评价的具体实施
绩效评价的实施可以视为一个分析和沟通的过程。评价人员收集数据、解读数据并且加以分析,与被评价单位进行持续沟通,就各种不同的发现、意见和观点进行评价,直至最终形成评价报告。
评价人员和被评价单位的沟通,始于与被评价单位的初次接触,在评价过程中实现坦诚和积极的沟通是理想情况,绩效评价可能遇到被评价单位的消极对待。评价人员将评价目标和方法告知被评价单位,获得被评价单位的协助,建立一个具有建设性的互动过程,对于有效完成评价工作至关重要。
一、收集数据时的相关考虑
绩效评价工作依赖职业判断,因此数据收集和文档的质量至关重要。在评价过程中,评价人员需要收集定性和定量数据,这既是一个了解的过程,也是为了描述、分析某个结果或者问题。
在搜寻证据的过程中,评价人员需要具有创造性、灵活性和谨慎性。绩效评价的证据更多是说服性的。当形成的是说服性的而非结论性的证据时,就可能获取证据的性质以及评价人员的分析和理解思路,提前与相关专家进行讨论,可能是一种有效的方式。这种方式能够降低误解的风险,而且能够加快评价进度。此外,鉴于被评价单位及其员工、专家以及有利害关系的当事人可能提出不同的观点和意见,评价人员需要从不同的来源搜寻评价证据。
数据收集工作可能是一次性的,也可能是持续进行的(如时间序列分析、纵向分析等)。收集的数据可能是实物证据、书面证据(包括书面声明)、口头证据(访谈)或者基于评价目标的其他形式。通常情况下,有必要同时收集定量和定性数据。所获取的证据都需要是可解读的,并且具备充分性、有效性、可靠性、相关性以及合理性的特征。绩效评价可以通过问卷、调查和观察等方法获取一手数据(即自有资料)。然而,绩效评价中大量使用的是二手数据(即他人提供的资料)。评价人员尽可能获取最优信息,但过于苛求数据的精确性可能是高成本的和不必要的,因为次优方案的数据可能已经足够充分、适当。20
评价人员需要秉持批判的态度,对所获取的信息进行客观评价。评价人员要能够从不同的角度分析问题,并且客观、开放地接受不同的意见和看法,否则可能遗漏一些好的观点。因此,评价人员需要不断思考并且做出客观的分析。
如果绩效信息由被评价单位的信息系统生成,则数据的可靠性对评价结果具有重要影响,此时评价人员需要采取措施评估信息系统的可靠性,审查信息系统的一般控制和应用控制。
在评价过程中,如果需要获取敏感性信息(例如对管理层的看法),需要确保匿名,不泄露个人观点。
二、数据收集方法
绩效评价需要综合运用定性、定量的信息和数据。可衡量或以数字表示的定量数据可能用于说明或者支持某一陈述。绩效评价中需要收集定性信息以进行更深刻、广泛的分析。
常用的数据收集方法可能包括:
(一)文件检查
检查文件是收集数据的有效途径。文件可以提供多种类型的证据,比如管理层的决定、项目受益者的案例记录以及**项目的记录等。在绩效评价的初期就需要确定文件的性质、地点以及可获得性,从而确保文件检查方法的成本效益性。
(二)二次分析和文献检索
二次分析是指查阅与评价业务相关的研究报告、著作和论文,研究相关历史资料。文献研究可以帮助评价人员获取有用的资料,但需要对其内容的可靠性进行评估,包括信息是否客观,是否是多方位的描述。
(三)调查或问卷
调查是指组织收集某特定总体的信息,通常是对总体中的样本进行访谈或者问卷调查。调查方法可以用于从人群或者组织群体中收集详细、具体的信息。当需要就某个特定问题收集大量人员的量化信息时,这种方法特别有用。
问卷法主要用于收集无法从其他渠道获取的信息,可以运用多种调查方法,包括邮政、互联网、电话和当面采访等。问卷调查经常需要用计算机进行加工,并假定对问题的内容有较好的了解。如果能够合理使用,问卷调查是一种有效的方法,尽管在设计问卷和处理答复时比较困难、耗时。21
(四)访谈
访谈法基本是一个问与答的过程,以获取具体信息。绩效评价工作需要大量地依赖访谈,在评价工作的不同阶段进行不同类型的访谈。可能涉及各类访谈,从寻求事实的交流和讨论(非结构化的采访,开放式的问题),到结构化的采访(封闭式问题清单):
(1)旨在收集材料和信息的访谈;
(2)旨在记录态度和意见的访谈;
(3)旨在了解观点、建议并对其作出评价的访谈。
访谈法可用于计划阶段以及调查阶段,旨在获取与评价目标相关的文件、意见和想法,证实由其他渠道获取的事实、数据,以及探究可能的意见。可以采用多种技术手段,同时采访一人或多人,通过电话或者拜访的形式。这些方法在信息调查的深度方面各有不同。为了尽可能广泛地获取信息,需要对不同职位、观点和见解的人员进行访谈。
访谈法是收集不同观点下的事实和信息的方法,但不能仅依赖访谈。尽管在使用访谈获取的细节和内容之前需要对其进行检查,访谈仍是很多情形下的有效方法。需要对采访的结果进行整理和记录,以帮助后续的分析和质量复核。
(五)研讨会
绩效评价的各阶段都可能召开研讨会。研讨会可以用于:
(1)获取对某专业领域的了解;
(2)讨论问题、观察的结果以及可能的措施;
(3)通报不同的看法和观点。
研讨会的优势在于将拥有不同知识和观点的人员聚集在一起,从而可以对问题领域有更好的了解。
(六)焦点小组
焦点小组是将选定的人员集中起来讨论某个主题或事项。该方法主要用于收集定性数据,可以从受益人或者其他利益相关方处,获取关于执行情况的信息以及**项目影响的信息。
(七)观察
观察法在绩效评价中并不常见。这种方法主要用于深入了解操作的运行方式,获得相关领域人员的意见,讨论和测试观点,以及与其他信息进行对比。22
上述收集资料的方法及其特点比较如下:方法 | 总体目标 | 优势 | 问题 |
问卷调查 | 可以一种无压力的方式从大量人员处快速、便捷地获取信息 | —可以匿名完成—管理成本较低—易于比较分析—可以获得大量的数据—许多样本问卷可供使用 | —可能得不到认真反馈—措辞可能影响被调查者的回应—需要抽样方面的专家—无法给出全貌 |
访谈 | 可以全面了解某人的想法,或是详细了解调查问卷的答案 | —获取全面深入的信息—与客户建立关系—与客户灵活沟通 | —需要较长的时间—难以分析和比较—成本很高—采访者可能影响受访者的回应 |
文件检查 | 可以在不干扰项目的情况下了解项目的实施情况;审查财务资料、备忘录和会议记录等 | —反映全面的、历史的信息—不干扰项目或者客户在项目中的日常工作—信息已经存在—很少对信息有偏见 | —经常花费很多时间—信息可能不完整—需要清楚在寻找什么—不是获取数据的灵活方法;仅限于已存在的数据 |
观察 | 可以收集项目实际运行情况的信息,特别是流程的运行情况 | —观察项目的实际发生情况—灵活应对发生的事项 | —解释观察到的行为存在困难—对观察活动进行分类是复杂的—可能影响被观察者的行为—成本较高 |