培训感悟 | “影响评估”科学公益培训

管理员    2018/09/07

春桃说

2018年8月24-25日,北京三一公益基金会邀请了陕西师范大学教育实验经济研究所的学者团队,开展了以“影响评估”为主题的培训课程。春桃同事有幸争取到有限的名额,前往北京参加了此次培训。培训结束后,春桃同事整理了两天所学内容,为我们的伙伴们分享影响评估的相关知识和实践理论。

 


 

在刚进入儿童阅读推广这个领域的时候,我一直有一个疑问,做了这么多年的阅读推广,我们在多大程度上影响了我们服务的孩子们。有这个疑问不是我不相信阅读有力量,而是我期待能找到有力的证据,来证明通过我们的努力,通过为孩子创造阅读机会,真的让孩子们变得不一样。包括走访春桃的社区伙伴时,也听到有伙伴会有疑问,在给孩子们讲绘本的时候,她不确定那些孩子能够吸收多少。因此,我一直在思考我们做的阅读项目到底何为“有效”,或者说,我要如何观测到我们做的阅读项目是否切实有效。

 

也许举办了多少场活动、服务了多少孩子等数据,可以体现出项目实施的影响力和范围广,但是似乎并不足以彰显出我们的阅读推广到底给孩子们创造了什么变化。我想我们更需要关注的是,我们想要解决的问题现状,在经过我们的项目干预后,问题得到了多大程度的改善,既那些处在农村地区的孩子们,在接触了优质童书、接触了阅读之后 ,是否真的从阅读中让自己身心受益。抱着这样的想法,当看到三一基金会的“影响评估”培训课程时,我立马就报了名。为期两天的课程也确实收获满满,让我对影响评估开始有了初步的认识和了解。

微信图片_20180907102120

在培训课上,讲师跟我们介绍了什么是“影响评估”。我们在项目报告上经常会使用一些指标数据来衡量我们的项目成果,比如说投入了多少资金、服务了多少孩子、建设了多少图书角等等,这种对项目的评估方式,讲师称之为“影响力评估”,重在强调项目投入。而所谓的“影响评估”,是去评估“因为项目的实施,项目受益群体在结果变量上的改变程度”。作为以解决社会问题为导向的公益机构,我们需要去了解我们的项目能在多大程度上解决我们想解决的问题,这有利于我们去进一步做成本-效益分析——成本大但影响效果小的项目,需要适当调整或放弃。

 

培训中讲师也跟我们讲授了如何去做影响评估,影响评估的方法介绍非常学术,对于一些初创型公益机构来说,要实施起来难度很大。但是评估方法中的逻辑是我们可以借鉴和学习的。在方法介绍中,讲师提到了评估方案设计的初始步骤——“变革理论”,它是一套关于如何让项目有效的理论,更类似于一种逻辑推演,帮助我们去梳理项目设计思路,同时也为项目评估提供了基础框架。变革理论的内容主要有三部分,即清晰定义问题、明确列出目标与可测量的预期结果、制作因果关系链。这三个部分又可以细分出更多详细的步骤。

1

“清晰定义问题”旨在帮助我们分析问题,在描述问题的现状时,我们需要思考两个方面:这是谁的问题?这是什么问题?在小组讨论环节,我发现思考这两个方面确实很重要,因为我们在描述问题现状的时候,经常会混淆“期望”与“实际问题”,也就是说,我们有时候会把个人的主观观点或者个人对目标对象的期待和愿望,当作是一种需要被解决的问题,而这往往并不一定跟目标对象面临的真实问题相符合。

 

“明确列出目标和可测量的预期结果”有利于我们确定下一步要做的因果关系链,界定好清晰目标。在合理选择结果变量中,有个“SMART”原则可以参考借鉴。所谓的“SMART原则”,即

  • -具体的(specific),目标要能具体描述who,where和what。
  • 可衡量的(measurable),要求目标是可量化、易观测和可获得的。
  • 可归因(attributable),即每一个指标都能够关联到项目的因果链中。
  • 可行的(realistic),考虑目标如何实现,限制条件有哪些(时间、成本、经验等)。
  • 针对目标人群的(targeted),目标需要以改善目标人群现状为标准。

 

“制作因果关系链”的基本逻辑是,我们为项目投入了什么成本(投入),开展了针对问题成因的什么样的活动(活动),吸引了哪些目标人群参加(产出),由此为目标人群带来了怎样的变化(结果)。在这个“投入→活动→产出→结果”的因果链中,每个环节都可以设定假定条件和衡量指标,方便我们在项目开展过程和项目结束后,根据我们拟定的衡量指标来收集数据,并利用这些数据来评估我们的项目效果,同时,也可以观测到在整个链条中,哪节链条容易断裂。这个因果关系链也可以用表格的形式来呈现。

360截图176106228980114

假定条件是指要进入到因果关系链的下一环节,需要具备什么条件。比如我们开展了活动,到产出环节,需要满足什么样的条件才能进行。类似于我们开展志愿者读书会,要想让志愿者都能积极参与进来(这是产出),需要满足的假设条件是志愿者知晓并有意愿来参与读书会。那么怎样才能让志愿者“知晓并有意愿”呢?这就是我们在开展活动时要考虑的问题。当我们的假设条件罗列得越清晰,我们就越明确我们要做些什么,才能得到我们期望的结果。

 

我们针对每一环节设定的衡量指标,可以用来评估我们项目在这一环节的效果如何。这个“衡量指标”的确定,也要求紧紧围绕我们要实现下一环节的目标,指定出尽可能可量化和可观测的指标。这些指标是我们做项目评估的基础,衡量指标所需的数据则需要我们在项目开展过程中有意识的去收集和观测。

 

在评估项目的时候,要了解我们的项目是否有效,需要通过对比才能得出结论,因此,这里也涉及到学术中的“随机干预实验”,也就是说,我们需要找到一个对照组来跟我们干预的目标人群做对比,从中评估我们的干涉在多大程度上改善了目标人群的现状。这个对照组的选择也不是随机的,而是要选择一个跟我们要观测的实验组大体相同的,唯一不同的只是实验组有我们采取干预措施,而对照组没有干预。打个简单的比方,如果我们伙伴想要评估建立班级图书角对学生的影响程度,就需要先选定一个我们已建立班级图书角的班级作为实验组,同时,还要在同年级里面找一个没有建立过班级图书角的班级,通过制定一些指标来对两个班级的学生的表现来进行比较。说到这里,春桃的社区伙伴泉蒙,近期刚刚自主完成了一次比较完整的项目评估,伙伴们可以通过以下链接:经验分享 | 泉蒙班级图书角—我们的阅读推广有效吗?,了解泉蒙的评估方法和评估思路。

 

项目评估是一件很专业的事情,两天的学习只是让我对影响评估有个基本了解,作为非理论专业的我们,还需要日后不断地深入学习,并在日常的工作中,去验证、实践和摸索,探索出一套属于我们自己的项目设计,将项目执行与跟进、项目评估、项目总结和反思融入进去。项目评估不是独立存在的,它应该包含在项目的总体设计里面,惟愿借助这次培训分享和泉蒙的评估实践,能让春桃的伙伴们了解到项目评估的概念和重要性。

发表评论

电子邮件地址不会被公开。 必填项已用*标注