欢迎您进入中心

案例 | 休利特基金会20年监测评估体系建构之路
时间:2020-05-13 14:43 来源: 资助者圆桌论坛 浏览量:346

监测、评估与学习的重要性在国内已有共识,但真正将评估纳入战略或组织文化、建立起评估体系的基金会仍然凤毛麟角。


休利特基金会(Williamand Flora Hewlett Foundation)是一家成立于1966年的综合性基金会,创始人是惠普联合创始人之一William R. Hewlett及其家族成员,过去十年间每年资助额都在4亿美元左右,是美国现今最大的基金会之一。


监测评估一直是休利特基金会的重要组成部分。基金会对两者的界定是:

  • 评估是一种独立的、系统性的调查,调查内容是:成果或目标是如何、为什么、在多大程度上、以及为谁而达成的。

  • 监测是一个定期检查的过程,以确保项目朝着战略目标前进。


两者互补,监测有助于跟踪和描述预期目标的进展,而评估有助于理解变化发生的原因和方式。


本次我们对休利特基金会20年评估发展历程及其监测评估的基本原则、内容进行了整理,供同行交流学习。正文内容包括:

  1. 休利特基金会监测评估文化发展历程
  2. 评估各方的角色及责任
  3. 评估七大原则及操作三阶段指南
  4. 监测内容及监测指标示例
  5. 对评估价值的评估及反思


1. 休利特基金会监测评估文化发展历程


1.1 初期——尝试搭建评估基础

2001年以前,休利特基金会一直以类似小型家族基金会的模式运作,直到基金会新任主席Paul Brest就任后,开始致力于使基金会及其资助更具战略性并关注成效。2001年起,休利特基金会开始将变革理论和逻辑模型应用于战略规划:要求基金会内部和资助对象共同制定资助项目策略,并在其中包含评估计划,基于此开展评估工作。


最初几年,Brest同时担任基金会的战略和评估官员,作为“首席评估师”参与每个战略和评估策划。在吸取同行基金会聘用评估官员的经验基础上,确定了休利特基金会员工聘用标准:聘用有评估意识的项目官员(重点关注成效导向意识)。每位员工任期8年,为培养评估能力并服务于基金会奠定稳定基础。


在休利特基金会中,项目官员对于评估有充分的自主权,包括确定项目目标和绩效、以及开展评估工作。机构内部则逐步开发评估工具,并要求在工作流程中使用,推进基金会评估文化的发展。


1.2 中期——形成成果导向的资助模式

随着监测评估意识的发展,休利特基金会逐渐形成了成果导向的资助模式(Outcome-Focused Grantmaking),其核心是:系统地思考和持续地评估每项潜在资助的成本效益,使项目最大限度地发挥资助组合的整体影响力。具体表现为:基金会制定了新的捐赠协议模板,要求资助对象必须制定可衡量的评估目标,这些目标需要回应项目的逻辑模型或变革理论。


与此同时,基金会内部不断完善跨项目讨论和学习机制。如组织城镇周(in-town weeks)活动——每年在城镇内举行6次基金会内部的跨项目学习研讨会,以及讲座、跨基金会交流学习等活动。


基金会从2010年开始考虑如何强化基金会的监测和评估工作,将监测评估落实到预算和实际工作中。内部员工提出的建议包括:设定2.5%的监测评估预算标准(最后确定的发展目标是2%),将监测评估相关思路撰写成文,坚定要求员工为每个项目制定监测评估计划等。


1.3 近期——建立专门的战略和评估小组并发布重要指导文件

2012年基金会设立了有效慈善小组(Effective Philanthropy Group, 简称EPG),该小组同时具备内部和外部职能:


  • 内部职能:侧重于战略、评估和组织学习;

  • 外部职能:侧重于促进慈善部门的有效资助。


工作小组与基金会全体工作人员(包括项目和行政人员)交流评估经验并了解团队需求,基于此起草了:


  • 评估指导文本:评估原则与操作。该文件列出了评估的七项原则,及计划、实施评估和应用评估结果的操作方法。

  • 战略指导文本:成果导向的慈善(Outcome-Focused Philanthropy, 简称OFP)。该战略由成果导向的资助模式发展而来,包含确立目标、阐明结果和衡量标准等,监测评估作为其中的重要部分,贯穿战略生命周期的各个阶段。 


至今,这两份文件仍然为休利特基金会工作的重要指导文本,并持续完善、更新。


2. 评估工作中各方角色与责任


2.1 基金会内部人员

2.2 基金会外部人员


3. 七大评估原则


休利特基金会的评估指导文本中明确列出基金会七大评估原则,指导基金会所有评估工作的开展。


(1)有目的地设计。在设计评估时考虑实际行动和决策,思考如何以及何时使用评估信息。通过预测需求,设计更有用的评估。


(2)评估从根本上来说是一个学习过程。评估工作从设计到应用,本质上都是帮我们不断的学习和优化工作——在优化战略、设定目标、检验工作方法等各个环节,为我们提供信息和证据。


(3)将评估视为战略生命周期中必不可少的一部分。将评估性思维融入战略发展有两个作用:


  • 有助于阐明变革理论中的关键假设和逻辑(或非逻辑)联系;

  • 使我们可以确定关键评估问题并以此为起点,在整个战略生命周期中,按计划逐步回答这些问题,并依据评估发现来指导决策。



(4)有战略性地选择评估对象。在以下情况中考虑优先分配评估资金:


  • 该项评估有望成为很好的学习机会;

  • 亟需为资助决策提供依据;

  • 项目存在潜在的战略或声誉风险;

  • 项目资金量大。



(5)选择评估方法时,在确保相关性的情况下最大限度地提高严谨性。我们将方法与问题相匹配,而不是一成不变地使用一种方法。我们尽可能使用多种方法和数据源以优化评估设计、减少偏差。


(6)有选择性地分享评估结果和经验。在评估之初便确定评估的目标受众,尽早与资助对象和联合出资方沟通评估目的和评估结果分享计划。分享时遵循保密、不伤害等原则,选取合适的分享内容。


(7)应用评估发现。我们花时间思考评估结果,用结果指导战略、资助对象、政策和实际行动,并根据需要进行调整。与此同时,支持资助对象充分应用评估结果。


4. 评估操作三阶段:计划、实施、应用


4.1 计划(Planning)

在评估工作的计划(Planning)阶段,主要考虑两方面内容:

(1)明确总体评估思想:评估是战略的一部分,我们使用评估思维来检验变革理论的假设,考虑何时以及如何使用评估数据,并制定评估计划,以便于能够在整个战略生命周期中不断学习和优化。

(2)确定具体评估细节:包括阐明评估问题、时间和预算,寻找适当的评估伙伴并与之签约,以及做好应用和分享评估结果的准备。其要点包括:


  • 尽早做计划。

  • 选择评估战略中的什么内容,我们不能(也不需要)评估战略的每一个方面。

  • 尽早并经常与资助对象沟通评估相关事宜。

  • 在项目的各个阶段为项目人员和评估人员规划和分配足够的时间(每位项目官员平均需要花费5-20%的工作时长规划、管理评估工作及应用评估结果)。

  • 澄清评估的目的:包括评估计划的受众、用途和评估结果何时最能发挥作用。

  • 清晰地定义评估问题,以此指导评估。

  • 确定评估方法:大多数强有力的评估使用多种方法来收集和分析数据,交叉验证有助于弥补不同方法的缺点。

  • 为第三方评估人员提供详尽的评估需求书。

  • 考虑是否以及如何让评估人员提供建议。

  • 选择委托评估方并达成协议。



4.2 实施(Implementation)

已经制定好评估计划后,具体实施工作休利特基金会通常委托第三方进行,因此内部员工在实施环节所需要投入的精力、时长往往最少,其工作主要包含两方面内容:

(1)管理和参与评估:定期与委托的评估方交谈,询问进展。

(2)应对挑战:评估挑战,重新审视以前的计划,咨询适当的利益相关者,考虑替代解决方案,并进行必要的过程修正。


4.3 应用(Use)

对于评估结果的应用非常重要,休利特基金会建议同时在机构内部和外部分享评估结果。

(1)内部分享结果的场景包括但不限于:


  • 为战略决策提供信息;

  • 为进一步开展更大层面的评估建立基线或帮助细化变更目标;

  • 改进信息收集、资助对象报告等执行流程;

  • 指导下一步资助方向等。


(2)外部分享结果的场景包括但不限于:


  • 帮助资助对象改进;

  • 为其他同行提供参考等。


5. 休利特基金会如何做监测


战略目标通常需要几年时间才能实现,在实现的过程中需要监测关键内容,了解项目是否按照计划执行或偏离轨道。休利特基金会将这些关键内容称为“执行标记” (implementation markers)。这是一个泛指的概念,可能是特定的活动、进度或内外部事件。可能的执行标记有:


  • 基金会内部:员工需要完成的关键工作,如确定新的资助对象。

  • 资助对象行动:资助对象或合作伙伴正在开展的重要活动,如召集会议或关键研究。

  • 资助对象能力:重要资助对象或合作伙伴能够促成或阻碍变革的能力。

  • 短期成果:员工希望看到的政策、联盟、倡议等方面的短期变化。

  • 背景因素:可能影响战略的背景因素,如人口变化或油价。

  • 阻碍因素:可能导致失败的因素。


休利特基金会监测指导手册中列出了五类议题的示例监测指标:政策倡导、网络与联盟建设、联合资助、领域建设、研究。在此我们为大家简单分享政策倡导类议题的监测指标示例,供大家学习参考。 



休利特基金会的监测工作有以下要点,能够为我们日常开展监测工作提供参考:

  • 设置执行标记的主要目的是:让工作人员了解项目进度。

  • 何时制定执行标记:开发一个新战略或更新一个战略时,应在阐述成果目标后制定执行标记。

  • 好的执行标记特点:有意义、具体、可收集、对决策有用。

  • 执行标记数量:参照上一条的标准,开发所需的“最小集合” 。

  • 对执行标记的监测频率:建议每六个月审查一次。

  • 鼓励资助对象参与:鼓励员工与资助对象协商制定适当的执行标记和合理的目标。

  • 应用监测结果:员工有责任了解项目进展,诚实公布监测结果并相应地调整行动。此外,监测结果应作为年度个人绩效评估的一部分。


6. 对评估价值的评估及反思


2013年休利特基金会发布评估原则与操作指导文本后,向理事会提出了几项关于评估支出和质量提升的建议,之后休利特基金会评估了这些建议的实际进展,以确保基金会不仅是增加了评估支出,更增加了评估的效用和价值,实现更有效的资助。


该评估主要基于2009-2016年间基金会的财务数据、评估报告以及员工访谈,研究了评估支出和质量,以及两者之间的关系,并评估了这两者是否以及如何随时间变化。 



基于评估经验,休利特基金会提出以下建议,为希望提高评估质量、实用性和价值,改善资助策略的基金会提供参考。

(1)基金会在评估方面的支出应占总资助比例的1.5-2%。每个策略3年内应至少开展一次评估。

(2)提高评估质量的两个关键点是:

  • 资助对象参与评估:建议在评估的计划、实施和结果解释阶段都为资助对象提供参与空间。

  • 分享评估结果:建议在评估之初就与传播部门共同设计评估结果分享计划。

(3)持续追踪评估支出、质量和价值,以确保基金会在此基础上持续学习和优化,定期向董事会汇报,并根据经验教训修改基金会评估原则和实践。

(4)更严谨的评估更有助益,包括提出更严谨的评估问题以及收集多来源的评估信息进行对比。


休利特基金会监测评估案例要点回顾


从以上介绍中我们可以看到,在休利特基金会的评估监测发展历程中,有以下几个要点对休利特如今的发展至关重要:

(1)休利特基金会评估的方式受到基金会领导人和组织文化的强烈影响。机构将评估视为战略中必不可少的一部分。

(2)机构成立专门的战略与评估小组,为员工定期提供专业评估培训,不断累积员工的监测评估兴趣和知识。

(3)项目官员对评估拥有高度的自主决定权。每位项目官员平均花费5-20%的工作时长规划、管理评估工作及应用评估结果。

(4)鼓励资助对象参与评估、重视分享评估结果可以增加评估价值。

(5)经过调研发现评估支出的增加与评估质量提升是相辅相成的。休利特基金会建议评估费用占总资助费用比例的1.5-2%。


监测、评估与学习的重要性在国内已有共识,但真正将评估纳入战略或组织文化、建立起评估体系的基金会仍然凤毛麟角。从休利特的案例中我们看到这既需要领导层的重视和引领,也需要长期的能力培养和文化建设,对于评估工作开展情况本身的评估与反思同样至关重要,这一过程可能艰辛而漫长,但这些终将成为机构健康成长的珍贵资本。


参考资源


  • 2000-2015年休利特基金会评估发展历程 https://www.evaluationinnovation.org/wp-content/uploads/2016/01/Hewlett_Teaching_Case.pdf 

  • 休利特基金会评估原则与操作指南(第二版)

    https://hewlett.org/wp-content/uploads/2019/03/Evaluation-Principles-and-Practices-Second-Edition.pdf

  • 休利特基金会进度监测指南

    https://hewlett.org/wp-content/uploads/2018/07/OFP-Guide-Tracking-Progress.pdf

  • 休利特基金会2009-2016年评估质量与支出评估报告

    https://www.hewlett.org/wp-content/uploads/2018/02/Evaluation-Quality-and-Spending-Analysis-2018.pdf

  • 案例:休利特基金会工作指导原则和资助工作准则(CDR编译版)

    https://mp.weixin.qq.com/s/GTrbZ6mJW8VTjQuNromJvw

  • 工具:休利特基金会设计资助方向的问题清单(CDR编译版)

    https://www.jianguoyun.com/p/DXWffkUQ6YDCBhii6mc


  来源:资助者圆桌论坛


更多信息请关注
我们微信公众号

深圳市现代公益组织研究与评估中心 2015版权所有 Copyright © 2015 | All rights reserved 京ICP备
QQ咨询 电话咨询
电话咨询

021-61065325

公众号
关注公众号
返回顶部