马蔡琛 桂梓椋/南开大学
内容提要：随着控制为主到结果导向的转变，逻辑模型已逐渐成为各国预算绩效管理中的重要方法。在对逻辑模型相关术语加以辨析的基础上，通过梳理逻辑模型在全球预算绩效管理中的实践探索脉络，可以充分了解这一评价工具的优缺点及应用价值。我国应用逻辑模型进行预算绩效指标框架的构建时，应清晰辨明概念，充分理解理论，关注整个战略规划过程，将逻辑模型作为一种思维方式而非死板框架，合理确定过程指标。
关键词：逻辑模型 预算绩效 绩效评价 绩效指标
一、引言
党的十九大报告明确提出要“建立全面规范透明、标准科学、约束有力的预算制度，全面实施绩效管理”，全面实施预算绩效管理已然成为推进国家治理体系和治理能力现代化建设的重要内容，中国正迎来全面绩效管理的预算改革时代。科学合理的绩效指标体系不仅是开展绩效管理的基础，也是绩效监督与问责的重要依据。因而，对逻辑模型等评价工具方法在预算绩效指标体系构建中的应用进行研究，具有非常重要的现实意义和理论价值。
过去二十多年间，随着控制为主到结果导向的转变，逻辑模型（logic model）在预算绩效管理的发展史上，尤其在项目规划和管理中发挥了重要作用。在澳大利亚国际开发署（AusAID）、加拿大国际开发署（CIDA）、挪威发展合作署（NADC）、瑞典国际开发署（SIDA）、英国国际发展部（DFID）、欧盟委员会（EC）等国际组织的技术援助项目中，逻辑模型已被有效地应用于绩效评价之中，成为出资方在接受拨款申请时所要求的标准评价方法。〔1〕逻辑模型在预算绩效管理中的应用，至少可以从投入（input）、产出（output）、成果（outcome）和影响（impact）四个层次发挥作用，充分体现了全面实施预算绩效管理所要求的“坚持以供给侧结构性改革为主线，创新预算管理方式，更加注重结果导向、强调成本效益、硬化责任约束，着力提高财政资源配置效率和使用效益”。
目前，国内对逻辑模型的研究主要集中于政府投资工程项目的后评价，比如工程监理（蒋翠清，2008〔2〕）、电网建设（华瑶，2011〔3〕；杨如明，2015〔4〕；罗喜群，2017〔5〕）、城市垃圾处理（高晓龙，2012〔6〕）、水利工程（张秀亭，2002〔7〕）等项目，而对逻辑模型与预算绩效及绩效指标问题相结合的研究相对匮乏。本文尝试借鉴逻辑模型的基本思路即因果关系分析（causality frameworks analysis），探讨应用逻辑模型来设计预算绩效指标框架的可行性与具体路径选择。
二、结果、结果链与逻辑模型的理论基础
（一）结果及其内涵界定
结果（result）是一个与过程（process）相对应的概念，根据OECD的定义，结果系指开发和干预的产出（output）、成果（outcome）和影响（impact）（包括有意和无意、正面和负面）。〔8〕在很多情况下，结果往往难以定义和衡量，故而传统上更多强调测量过程。例如，服务机构通常报告其服务的人数，但不报告有多少人选择不需要这些服务。运输部门报告铺设或维护的道路里程数，但很少报告减少事故或通勤时间的情况。〔9〕当考虑测量“结果”时，必须将这些结果转化为一系列可衡量的绩效指标，通过对关键绩效指标（KPI）的定期测度，来判断是否实现了成果。〔10〕
1.逻辑模型
逻辑模型（logic model），也可称为逻辑框架（logical framework），其概念可以追溯到彼得·德鲁克（Peter Drucker）20世纪60年代提出的“目标管理”理论。〔11〕它是解释从投入到产出过程中各类短期和长期影响的流程图表，由因果链组成，旨在通过一系列可控活动来解释现象发生（或不发生）的原因。因此，逻辑模型可以在一定程度上作为指导项目设计和开发的工具，〔12〕也是公共和私营部门以及NGO广泛使用的因果关系框架（causality frameworks）之一。〔13〕
逻辑模型的应用形式往往不是死板固定的，它有许多不同的版本。〔14〕即使不使用矩阵形式的逻辑模型，也要遵循类似于投入、产出、效果和影响这样的四层次逻辑结构，例如国际开发计划署（UNDP）、国际粮农组织（FAO）和国际农发基金（IFAD）[1]。逻辑模型还可以包括不同级别的结果，例如，联合国难民署（UNHCR）、丹麦发展署（DANIDA）和美国国际开发署（USAID）的逻辑模型均包含有投入要素，而南非发展共同体（SADC）、欧盟委员会（EC）的逻辑模型中却没有。〔15〕总之，不同组织所使用的逻辑模型大多基于类似的构造，但又体现着自身的特点。
2.结果链
结果链（results chain）是一个简单的可视化图表，以时间顺序链的形式绘制出改进结果的预期路径（见图1）。根据OECD的定义，结果链是指发展干预（development intervention）的因果顺序，对从投入开始达到预期目标的必要顺序进行了规定，即通过活动和产出转移，并最终实现结果、影响和反馈。〔8〕
活动 activities 投入 产出 成果 影响
input
output
outcome
impact
图1 结果链的一般形式
世界银行认为，结果链显示了如何实现项目发展目标的基本逻辑，〔16〕它是在计划、监测和报告中广泛使用的模型，呈现项目或计划的未来图景及其具体结果。不管表达方式如何变化，评价过程中组件的逻辑顺序始终是相同的。〔17〕该模型已在各类机构中得到广泛应用。例如，世界卫生组织（WHO）采用结果链模型作为评估其计划绩效的主要方法。〔18〕此外，Jahanmehr等人（2015）提出了一个概念框架，运用结果链模型来评估伊朗的公共卫生系统绩效，进而改进了模型的基础组件，并使用投入、流程、产出和结果作为主要部分。〔19〕
3.逻辑模型、结果链与逻辑框架之辨析
在一般意义上，结果链通常与逻辑模型等同。就实际应用而言，结果链更加具体，并能够体现单个的行为、中间结果和最终影响之间的直接假设关系。结果链显示了一系列“如果（if）……那么（then）……”的关系，这些关系界定了活动对特定影响的贡献。〔20〕但当人们提到逻辑模型时，往往是指同时包括以下内容的矩阵：①有助于产生结果，有助于实现总体目标的垂直逻辑（活动提供产出作为目标层次结构）；②有助于实现影响目标的横向逻辑（显示如何评估每个目标的进展以及下一个层次的外部因素，即可核验指标以及假设和风险）。〔21〕至于逻辑框架和逻辑模型之辨析，有研究者认为在使用逻辑模型时，若以矩阵的形式展现则称为逻辑框架，若以流程图的形式展现则称为逻辑模型，〔22〕本文中对此不作刻意区分。
三、逻辑模型的发展历程：基于近半世纪来的变迁和演进
基于结果的绩效管理（results-based performance management）始于20世纪初叶，〔23〕百年间全球范围内的预算绩效评价和问责制越来越受到重视，这增加了各类组织对绩效评价的关注。实际上，许多公共管理者面对三个关键挑战：①组织可以在因果链条上合理地衡量什么？②组织需要衡量什么才能对出资人负责？③组织如何通过衡量绩效来更好地实现其使命？这些问题的核心是公共部门特有的两个更深层次的问题：一是因果关系问题，即如何理解活动的因果关系；二是控制结果的问题，即管理者如何控制其活动和结果。〔24〕大多数公共机构都会产生许多结果，机构选择要关注哪些结果，并将之用于指导决策和改善内部流程。这种由控制为主到结果导向的转变，正是逻辑模型得到推崇的一个重要原因。
逻辑模型的国际实践较为丰富。在20世纪90年代末期，几乎所有国际援助组织都接受了逻辑模型方法。〔25〕此外，逻辑模型在政府部门也颇多应用。例如，早在1979年，哥斯达黎加的农业和畜牧部就使用了逻辑模型进行预算规划。〔26〕1997年，加拿大的公共部门投资决策中，审计长办公室的报告也使用了逻辑模型。〔27〕在非政府组织中，逻辑模型也受到欢迎，例如在英国的医疗保健领域，逻辑模型方法于1998年被引入国家卫生行动区方案（HAZs），由相关非政府组织向基层工作人员提供逻辑模型方法的培训。〔28〕
自20世纪70年代提出以来，逻辑模型经历了近半世纪的发展，依据其特征变化可以划分为以下四代逻辑模型：
（一）第一代逻辑模型：1969-1979年
逻辑模型方法由美国的Practical Concepts Incorporated咨询公司于1969年初开发，作为项目设计和评估工具，于1970年由USAID进行了测试，用于评估技术援助项目。〔29〕由于战争的高昂代价（越南战争和美苏冷战），美国政府部门开始质疑社会项目巨额支出的效率和价值。正是这种对支出和效益的关注，使得计划评估在20世纪70年代得以蓬勃发展。〔30〕20世纪70年代初，逻辑模型在30个援助国的援助方案中得到实施。在随后的几年中，扩展到援助贷款项目。加拿大国际发展署（CIDA）于1974年测试了逻辑模型方法，并于1975年开始将其广泛应用于项目评估中。接下来的十年中，逻辑模型被纳入英国和欧洲大部分地区的项目管理系统。〔31〕
第一代逻辑模型的主要缺点在于，应用过程不够明确，使用的术语较为混乱，不同层级之间的关系模糊。在制定目标和指标时，客观可验证的指标难以确定，导致项目成功的指标设计不充分。而在项目设计规划中，过分关注产生的最终结果，导致项目管理活动的动态性不够。于是，在20世纪70年代后期，逻辑模型的使用率开始下降。〔32〕
（二）第二代逻辑模型：1980-1989年
第二代逻辑模型方法于1983年提出，自1986年开始实施，该方法规定了在制定项目计划矩阵（PPM）之前的诸多系统化步骤。其大部分改进是由德国技术合作机构（GTZ）实现的，他们将逻辑模型发展为更实用、系统和适合参与的方法，称为ZOPP（Zielorienterte Projektplanung）或者OOIP（Objectives Oriented Implementation & Planning）方法。〔33〕ZOPP方法提出了允许利益相关者参与的六步方法，包括以下步骤：①情境分析，②利益相关者分析，③问题分析，④客观分析，⑤替代分析，⑥活动计划。
这种改进明确了应用逻辑模型的步骤，弥补了第一代逻辑模型的层级和流程模糊的缺陷，为项目的识别、设计、评估和管理提供了更加系统的结构，便于利益相关者参与逻辑模型的开发并获得早期反馈和批准。许多国际发展组织采用了类似的方法（譬如加拿大国际援助署、丹麦对外事务署和美国国际援助署）。但是，专业术语易被误解和客观可验证的指标较难获得的缺陷仍然没有解决。此外，ZOPP方法还被认为是复杂和僵化的，不容易与其他项目管理工具相结合（Eggers，1994〔34〕； Wiggins & Shields，1995〔35〕）。
（三）第三代逻辑模型：1990-1999年
到了20世纪90年代中期前后，许多国际发展组织开发了第三代逻辑模型方法，通过集成和易使用的软件来运行逻辑模型变得可行。〔36〕它作为项目周期管理方法（PCM-LFA）被欧盟及其成员国应用推广。这一代逻辑模型更加重视对专业术语和其他关联方法的训练，〔37〕更加强调透明度、参与度、灵活性。〔38〕例如，Danida和NORAD等捐助机构提出要“以更灵活的方式使用逻辑模型方法和项目周期管理，并在项目周期内使用参与式方法”。〔39〕
第三代逻辑模型从更为系统的角度考虑项目的全过程。它重视利益相关者的参与，并且更多强调建立逻辑模型的过程，而不是最终结果。〔40〕通过以标准和浓缩的格式提供项目摘要，逻辑模型可以让利益相关者了解情况并参与其中，识别对项目产生威胁的潜在风险事件发生的可能性，并确定如何评估和监控项目的全过程绩效。它有助于更好地理解项目背景和利益相关者的诉求，进而建立从评价对象的活动过程到产出、最初结果、中间结果、未来结果的逻辑结构。这一代逻辑模型的缺点在于，难以实现与预期结果相对应的责任划分，也难以与其他管理工具相结合。
（四）第四代逻辑模型：2000年以来
进入21世纪以来，逻辑模型越来越多地与绩效管理结合起来，成为基于结果的监测和评估（results-based monitoring and evaluation，RBM&E）的首选模型。该方法体现了“基于结果”的管理观念转变，即从关注投入和活动转向关注产出、结果、影响和可持续利益需求。世界银行（2004）将逻辑模型与RBM&E联系起来，并认为这样“可以帮助决策者跟踪进展并展示特定项目、计划或政策的影响”。〔10〕 Local Livelihoods（2009）认为，利益相关者可以运用逻辑模型作为项目设计的基础，根据目标建立可量化的监测指标，并根据假设衡量定性结果。〔41〕
综观逻辑模型的发展历程，使用者越来越强调了清晰的概念界定、合理的应用流程、广泛的公众参与、灵活的使用方法和明确的责任监督，这也为逻辑模型的中国化应用提供了一定启示。
四、逻辑模型在中国预算绩效指标框架构建中的应用
（一）逻辑模型与预算绩效管理结合的现实可能性
逻辑模型作为一种因果关系分析工具，有助于科学地划分结果层次结构，针对性地确定预算绩效管理的问题所在。从水平逻辑关系和垂直逻辑关系来看，借鉴逻辑模型的思想，进行预算绩效指标框架的构建是可行的。
水平逻辑关系上，预算绩效指标框架的构建与逻辑模型是一致的。在逻辑模型的水平层次中，给出了项目各层次的客观评价指标、验证上述指标的方法以及指标实际值与目标值的差距。这样就提供了一个框架，将监测、评估和学习计划的重点放在指标上，从而可以将之用于阐明预期结果的时间范围、选择关键结果以及关联指标。此外，逻辑模型从因果关系出发，需要经过问题树、目标树、逻辑模型的构建这样三个步骤，层层展开，贯穿项目管理的全过程。这与当前预算绩效指标框架构建中所要求的“要将绩效管理覆盖所有财政资金，贯穿预算编制、执行全过程，做到花钱必问效、无效必问责”是相一致的。
垂直逻辑关系上，预算绩效指标构建的3E原则与逻辑模型是一致的：①经济性对应投入层次：确定项目所需投入的资金、人员、管理机构等，分析其节约度；②效率性对应产出层次：直接确定政府投资项目的成果完成情况；③效果性对应项目目的或宏观目标。其中，在项目目的层次说明政府投资项目的直接目的，宏观目标层次说明项目实施后从宏观角度对经济社会发展构成的影响。
（二）运用逻辑模型构建预算绩效指标框架的总体思路
1.设定清晰的愿景期望，合理进行战略规划
逻辑模型的一个优势就是，可以对工作应该实现什么，提供一套明确的期望，并且建立报告进展的框架，这有助于系统地展现预算支出的正当理由（即执行活动的结果）。因而第一步便是对项目的背景进行分析，了解组织必须支持的组织使命以及支持该任务的战略。战略规划采取的确切形式将根据组织的规模和使命而有所不同。此外，对成果进行战略规划，需要特别关注战略目标与预算之间的联系，应在预算中体现实施计划所需的财政资源、如何花费预算资金以及如何将预算资金用于预期结果。〔23〕
首先确定符合愿景期望的目标，进而分析可能影响目标的因素。对于每个因素，确定改变因素从而能够达到预期状态所需进行的活动。对于每项活动，第一应确定既有计划的情况。譬如目前计划的负责人是谁，是否应修改现有计划以更好地为目标实现做出贡献。第二应确定与目标之间的差距以及如何弥补。譬如应如何制定新计划来缩小与目标之间的差距，是否可以采取激励措施以促进目标实现。（见图2）〔42〕
图2 逻辑模型的战略规划过程
2.将多目标转化分解为指标
为了将战略付诸行动，应在所有组织层面制定目标和指标，依照重要性原则将多目标转化分解为指标，将指标按投入、产出、效果和影响进行分类，并确定每个指标的评价标准，决定期望绩效，再赋予各项指标不同的权重。多目标的公共支出绩效管理能够为执行者提供较大的自由裁量空间，有利于发挥其主动性和积极性。
3.绘制符合逻辑的连贯图表并加以应用
逻辑模型需要确定应纳入评估的变量，并提供一个逻辑框架，以讲述串联起有关情况的连贯故事。在设计具体逻辑链条图表时，应该以清晰地同参与者沟通和展示问题为原则，既不能过于简化以至于忽略了重要因素，也不能过于复杂以至于无法连贯地分析整个因果过程。有些评估未能系统地使用逻辑模型，来识别要收集的相关数据并进行指导分析（譬如，没有合理设置中间结果，也没有收集中间结果的相关数据），那么如果项目实施失败，将无法确定因果链断裂的位置。即使项目实施成功，也很难知道如何总结成功经验，也就无法充分利用有效的信息来进一步扩大规模。〔43〕
4.监控分析绩效结果并获取反馈
监控和评估主要用于指导战略规划和预算资金分配过程，以便对组织愿景及其行动目标和预期结果负责。基于结果的管理要求在组织的各个层面衡量绩效，定期记录实施活动及其影响。〔44〕测量和监测数据涉及评估、比较和解释的迭代过程。在分析数据之后，必须解释结果并判断是否实现了期望的结果。〔45〕所收集到的评估信息如果表明行动计划无法纠正问题或满足优先需求，反馈系统将触发进一步的计划或行动。〔46〕
此外，项目中的某个活动开始之后，在项目周期内其结果不一定会始终完全有效。〔47〕一方面，项目管理者可能需要时间让活动充分运行，受益人也可能不会立即受益，因为行为改变需要时间，机构也不可能立即调整其行为。另一方面，一旦机构改变了某些行为或习惯，即使项目中止，它们也可能继续进行。例如，一个鼓励家庭对垃圾进行分类、再循环以及节约能源的计划，如果它能够改变人们处理垃圾和能源的行为习惯，那么在取消激励措施之后，可能仍然有效。所以在设计评估时，需要非常谨慎地评估一个活动完全生效可能需要多长时间。此外，也可能有必要进行一些后续调查，以评估项目随着时间的推移（甚至在项目停止之后）产生的影响。
（三）需要注意的几个问题
1.厘清结果的相关概念，辩证理解因果关系
逻辑模型应用的一个难点在于，应用该理论之前，必须要保证诸如产出（output）、成果（outcome）、影响（impact）等颇为相似的绩效评价术语，能够被参与者清晰地理解。因为逻辑模型本身涉及的概念较为复杂，其中不乏一些定义易被混淆的概念。在理论上，研究者对于何谓结果也尚未达成共识。产出、成果和影响在时间范围、效应范围、评估方法等方面均存在差异，这类概念的混淆会严重影响预算绩效评价的有效实施。以下三种概念混乱的情况较为常见：
第一，活动与产出的混淆。有些活动本身显然不是产出，而其产生的可交付产品是产出。以干旱地区的“挖井”项目为例，通常来说“挖井”行为被认为是一项活动，实际挖掘的井才是相应的产出。只有准确界定活动与产出，才能制定最符合预期绩效的衡量指标。譬如，山东省的郯城县以新打井眼的数量作为预算绩效评价标准，对农户新打一眼大口井奖励10000元，一眼机井奖励1000元。〔48〕
第二，产出和成果的混淆。在OECD的定义中，默认允许产出“也可能包括与实现结果相关的活动所产生的变化。”〔8〕对某些人而言，产出只能是项目或计划的可交付成果，而其他人则可能会以初步变化作为产出。例如，当某组织想要改善社区居民的视力状况时，如果由该组织直接执行计划，居民视力恢复手术应该作为产出；如果该组织培训当地合作伙伴来执行计划，居民视力恢复手术情况则变为成果，合作伙伴的培训课程才是产出。其实，这种困难并没有真正意义上的解决方案，而需要根据具体情况相机处理。即使一个组织对产出和结果之间的差异有非常明确的定义和指导方案，不同的工作人员和业务部门仍可能以不同的方式来解释这些术语。
第三，成果和影响的混淆。成果通常使用直接结果、先决条件、短期和中期结果等表述，主要回答可以改变的最直接事情是什么，或实现目标并产生影响之前应首先采取的措施。影响通常使用诸如愿景、总目标、长期结果等表述，主要回答想要实现什么目标、为什么要实现这个目标。〔49〕但事实上，很少有组织真正根据其具体影响来区分此二者，其区别很大程度上取决于定义。例如，OECD的定义就允许将机构能力或政策的长期变化归类为影响。〔8〕
概念混乱的问题一直贯穿于逻辑模型半个多世纪的演进过程。如果不对概念进行统一，就会导致不同项目实施环节中的参与者出现概念理解的分歧，从而严重影响逻辑模型的层层推进，也就难以正确发挥逻辑模型作为全过程预算绩效管理工具的作用。目前较为普遍的解决办法是，对逻辑模型的实际参与者进行理论培训，并在逻辑模型应用手册中进行明确的概念界定。
2.更多关注整个战略规划过程，而非固定和规整的逻辑形式
对于公共部门而言，逻辑模型的最大优点在于，能够以整齐且容易理解的方式，系统且可视化地呈现与项目有关的所有基本和关键信息，有助于信息的系统化和必要的问责制。纵观逻辑模型五十年来的发展，贯穿其中的问题便是如何在标准框架和动态灵活性之间取得平衡。模型本身的严格框架形式限制了其灵活性，很难实现广泛的协商参与。遵循逻辑模型方法的要求，容易产生过度强调目标（over-specify objectives）的倾向，而忽略了应用的灵活性。虽然逻辑模型方法可能是合乎逻辑的，但在大多数情况下，项目运行的复杂程度，远高于逻辑模型中可能包含的复杂程度，因此过于规整的逻辑形式往往是没有意义的，但这并不意味着逻辑模型的参与度越高就越好。事实上，逻辑模型方法的参与度越高，为达成共识所投入的努力越多，在实施过程中进行修改和优化可能就越困难。
从相关应用调查来看，大部分受访者认为，逻辑模型更应该被理解为一套理念和思维方式。〔21〕其价值在于通过目标层次来确保项目实施中考虑适当的指标，并兼顾相应的风险，逻辑矩阵仅仅是一种展现形式而已。因而，在使用逻辑模型来构建预算绩效指标体系的过程中，不应该受到框架形式的过多拘束，而应该更多关注其内在的因果逻辑思想和系统化的思考方式。
3.合理确定过程指标，避免指标痴迷
目前我国财政支出绩效评价的方式主要是对指标进行打分考核，因而在绩效指标框架中设置一定的定量指标是必要的。但如果过分关注定量测度，就会使得逻辑模型测量定性变化变得僵化、复杂和困难，甚至可能产生负向激励。Holma、Kontinen和Dale（2011）指出，逻辑模型方法未能确定那些影响可观察现象出现的更深层机制，应该适当缩减确定可衡量指标而耗费的大量时间和精力。〔50〕
因此一定要充分考虑到影响的长期性，以及项目实施的动态性，在避免对预算绩效产生负向激励的前提下，审慎地设置定量指标。当直接指标难以设计时，可以适当地制定替代指标（proxy indicators）来间接进行绩效测量。例如，在缺乏系统的学生标准化成绩测试来评估教育质量的情况下，可以转而关注学生的自主测评完成情况。
参考文献：
〔2〕 蒋翠清, 李华好. 基于逻辑框架法的工程监理项目后评估[J]. 合肥工业大学学报(自然科学版), 2008, 31(2):248-252.
〔3〕 华瑶, 周雨. 逻辑框架法在电网建设项目后评价中的应用[J]. 工业技术经济, 2011, 30(1):97-102.
〔4〕 杨如明, 贾巍, 马千里. 电网项目后评价体系研究及应用[J]. 浙江电力, 2015(4):1-6.
〔5〕 罗喜群, 姜永, 杨光. 基于逻辑框架分析法对电网项目依法合规建设的分析与研究[J]. 企业改革与管 理,2017(23):219-221.
〔6〕 高晓龙, 徐夏楠, 王双燕. 逻辑框架法在城市垃圾处理建设项目后评价中的应用[J]. 湖南工程学院学 报(自然科学版), 2012, 22(2):92-94.
〔7〕 张秀亭. 逻辑框架法在水利工程项目后评价中的应用[J]. 海河水利, 2002(5):49-50.
〔8〕 OECD. Glossary of Evaluation and Results Based Management（RBM）Terms[R]. OECD，2010：20- 34.
〔10〕 Zall K.，Jody，R. Ray. Ten Steps to a Results-Based Monitoring and Evaluation System：a Handboo k For Development Practitioners[R] .The World Bank，2004: 24-26.
〔13〕 Busjeet G.. Planning，Monitoring，and Evaluation：Methods and Tools for Poverty and Inequality Re duction Programs[R]. World Bank，2013: 4-7.
〔14〕 Levine C. J.. Catholic Relief Services'（CRS）Guidance for Developing Logical and Results Framewo rks[R]. Baltimore：Catholic Relief Services，2007:1-3.
〔16〕 Operational Policy and Quality Department（World Bank Group）.Results Framework and M&E Guid ance Note[Z]. OPSPQ ，2013:1-5.
〔17〕 Commonwealth Foundation. Guidance to Developing a Logframe and Monitoring Plan[Z]. Commonw ealth Foundation，2015:3-7.
〔18〕 World Health Planning.Results Chain [EB/OL]. http://www.who.int/about/resources_planning/WHO_GP W12_results_chain.pdf.（2014）[2018-08-03].
〔19〕 Jahanmehr N.，A. Rashidian，A. Khosravi. A Conceptual Framework for Evaluation of Public Health and Primary Care System Performance in Iran[J]. Global Journal of Health Science, 2015, 7(4): 341.
〔20〕 Foundations of Success. Using results chains to improve strategy effectiveness：an FOS how-to guide [EB/OL]. http://www.fosonline.org/resource/using-results-chains.（2009）[2018-08-19].
〔21〕 Bakewell O.，A. Garbutt. The Use and Abuse of the Logical Framework Approach[R]. SIDA，2005： 1-21.
〔22〕 Ann-Murray Brown .Differences between the Theory of Change and the Logic Model[EB/OL]. https:// www.annmurraybrown.com/single-post/2016/03/20/Theory-of-Change-vsThe-Logic-Model-Never-Be-Confu sed-Again.（2016-03-15）[2018-08-19].
〔24〕 Ebrahim A. S.，V. K. Rangan. The Limits of Nonprofit Impact：A Contingency Framework for Meas uring Social Performance[R]. Harvard Business School, 2010:17-21.
〔25〕 Dearden P. N.. A positive look at Monitoring，Review and Evaluation–International Development expe riences affecting Regeneration Work in the UK[R]. University of Wolverhampton，2005:1-2.
〔26〕 Rosenberg L.，L. Posner. The Logical Framework：A Manager's Guide to a Scientific Approach to D esign and Evaluation. Practical concepts incorporated[C]. Washington, DC. Workshop Approach for Pr oblem Analysis. 1979, 131.
〔27〕 the Office of the Auditor General of Canada，1997 Report of the Auditor General of Canada[Z]. Off ice of the Auditor General of Canada. 1997:.
〔28〕 Dearden P. N.. Programme and Project Cycle Management（PPCM）：Lessons from DFID and other Organisations[C]. the Foundation for Advanced Studies for International Development（FASID）. Tok yo，Japan. February，2001.
〔29〕 Practical Concepts. The Logical Framework：A Manager's Guide to a Scientific Approach to Design and Evaluation [Z]. Practical Concepts，1978.
〔30〕 Mathison S.. Encyclopedia of Evaluation[M]. SAGE，2005：186.
〔31〕 EuropeAid Cooperation Office.Project Cycle Management Guidelines[Z]. EU, 2014.
〔32〕 Couillard J.，S. Garon，J. Riznic. The Logical Framework Approach–Millennium[J]. Project Managem ent Journal, 2009, 40(4):31-44.
〔33〕 German Technical Cooperation. ZOPP：An Introduction to the Method[Z]. GTZ，1987：1-15.
〔35〕 Wiggins S.，D. Shields. Clarifying the ‘Logical Framework’ as a Tool for Planning and Managing De velopment Projects[J]. Project appraisal，1995, 10(1): 2-12.
〔36〕 Team Technologies. The Logical Cycle Management Resource Guide：A Logical Framework Approach [Z]. Team Technologies，1993:1-6.
〔38〕 Fons van der Velden. Capacity Assessment of Non-Governmental Development Organisations: Beyond the Logical Framework Approach[R]. Context, International Cooperation. 2003:1-3.
〔39〕 Ferrero Y. ，G. Loma-Osorio ，C. S. Zepeda. Rethinking Development Management Methodology：T owards a “Process Freedoms Approach”[J]. Journal of Human Development and Capabilities, 2014, 1 5(1): 28-46.
〔40〕 Dale R.. The Logical Framework：an Easy Escape，a Straitjacket，or a Useful Planning Tool?[J]. De velopment in Practice, 2003, 13(1): 57-70..
〔41〕 Local Livelihoods. Project Cycle Management Toolkit.[EB/OL]. http://www.locallivelihoods.com/cmsms/ uploads/PDFs/Project%20Cycle%2 0Management%20Toolkit%20-%203rd%20Edition%202009.pdf （2009） [2018-08-22].
〔43〕 Patricia R. Theory of Change：Methodological Briefs - Impact Evaluation No. 2（Papers innpub747） [R]. Methodological Briefs, 2014:3-6.
〔44〕 Ortiz E, Kuyama S, Munch W, et al. Overview of the Series of Reports on Managing for Results in the United Nations System[R]. UN Joint Inspection Unit, 2004:3-5.
〔46〕 UNIFEM. Monitoring, Evaluation and Knowledge Management Framework[Z]. UNIFEM, 2008:17-18.
〔47〕 King E. M.，J. R. Behrman. Timing and Duration of Exposure in Evaluations of Social Programs[J]. The World Bank Research Observer, 2009, 24(1): 55-82.
〔48〕 杨维生. 村民打井 政府有奖励[N]. 农村大众，2011-06-22.
〔49〕 UNDP. Handbook on Planning，Monitoring and Evaluating for Development Results[Z].UNDP，2009: 7-26.
〔50〕 Holma K.，T. Kontinen. ‘Realistic Evaluation as an Avenue to Learning for Development NGOs’[J]. . Evaluation, 2011, 17(2): 181-192.