刘江. 基于机制分析的社会工作服务项目评估研究[J]. 华东理工大学学报,2024(01):23-35+54.
[摘要] 社会工作服务项目承载着社会工作专业知识应用与再生产的功能。社会工作专业知识 的应用和再生产都是在社会工作服务项目的运行过程中完成的 。 因此,社会工作服务项目评估研 究的主要目标之 一就是揭示项目的运作方式,以及知识是如何被再生产的。为了实现这些目标,本 文引入了项目评估中常用的逻辑模型和社会科学研究中的机制分析进行讨论。本文利用逻辑模型 简化了社会工作服务项目的复杂内容,并借助机制分析对社会工作服务项目的运作,以及运作过 程中知识的“生成”过程进行了详细的说明和分析。在此基础上,本文构建了包含“机制(概念要素) — 变量(可观测要素)—测量与检验”的分析框架和研究步骤 。三个案例有效地展示了基于机制分
析的研究框架和研究步骤在不同领域内的社会工作服务项目评估研究中的应用情况。
[关键词] 机制分析 社会工作服务项目 社会工作评估 项目评估
一、引言
我国社会工作的发展具有明显的项目化特征 。社会工作机构通常结合政府需求、居民需求和专 业属性来设计和实施社会工作服务项目 。在此背景下,社会工作服务项目至少具有两重功能:一方面,满足居民的基本需求,提升政府的社会信任度;另一方面,完成社会工作专业实践,实现社会工作专业知识的应用和再生产 。社会工作服务项目的运作有特定的过程和目标 。社会工作专业知识的应 用和再生产正是在这个“过程— 目标”的路径中完成的 。因此,社会工作服务项目评估研究的重要任 务之一就是对社会工作专业知识的应用、再生产过程以及结果进行探索和分析 。这个探索和分析的 过程本质上是打开项目运作“黑箱”(blackbox)的过程 。它不仅要说明社会工作服务项目如何发生 (how)的问题,还需要说明社会工作服务项目目标是否实现,以及如何得以实现(why)的问题 。 由此, 社会工作服务项目评估研究要对项目运作的过程和目标,以及二者之间的联系进行深刻的描述和分 析 。这些内容在社会工作服务项目评估中分别对应了过程评估(process evaluation) 和影响评估(impact evaluation)或结果评估(outcome evaluation)。
成功打开项目“黑箱”的重点在于揭示社会工作服务项目运作的两重逻辑 。第一重逻辑是社会工 作服务项目的运作逻辑,也即回答社会工作服务项目如何运作的问题 。通常可以将社会工作服务项 目按照“投入—过程—产出—结果”进行划分,从形式上给社会工作服务项目提供一个可供理解的逻 辑 。根据这重逻辑,社会工作服务项目评估研究要对项目的各个环节进行操作化处理,以便从形式上 厘清项目各个部分之间的关联 。第二重逻辑是社会工作服务项目何以发生的逻辑,也即回答社会工 作服务项目为何如此运作的问题 。这重逻辑也是社会工作知识再生产的逻辑 。这重逻辑关注社会工 作服务项目运作的机制(mechanism)。一般而言,机制具有两种不同的理解:一种将机制视为经验层面 (empirical level)现象之间的关联,表现为变量之间的关系;另一种将机制视为潜在的、不可观测的、需 要通过对经验的推理才能获取的关系。根据对机制的这两种理解,社会工作服务项目评估研究又可 以从两个层次展开分析 。一是根据项目运作的实际情况,在经验层面清晰地描述项目运作的实质过 程和结果,以及二者之间的关系 。二是要从经验层面的过程和结果,以及二者间的联系中抽离,探索
社会工作服务项目的潜藏机制。从经验层面的实质联系到潜藏机制,本质上是从经验到理论的跃迁。④
本文将社会工作服务项目评估研究定位于以机制为核心的对社会工作专业知识应用和再生产 的探索和分析,将围绕以下内容来完成这一任务:(1)沿着社会工作服务项目运作的两重逻辑展开详 细论述,厘清项目运作的逻辑和机制的内涵,提出可用于指导研究的分析框架;(2)建构社会工作服务项目评估研究的步骤;(3)引入研究案例展开分析。
二、社会工作服务项目的两重逻辑和研究步骤
( 一)社会工作服务项目运作的逻辑之一:逻辑模型(logic model)在项目评估中有一种实施理论(implementation theory)可以用来理解社会工作服务项目如何运 作 。在社会工作服务项目评估中最常见的实施理论之一是逻辑模型(logic model)。根据逻辑模型,可 以 将 社 会 工 作 服 务 项 目 按 照 投 入(input)、过 程(process)或 活 动(activities)、产 出(output)、结 果 (outcome)、影响(impact)在形式上切分成五个部分 。其中,投入主要是指社会工作服务项目所需的各 类资源(如人、财、物);过程或活动主要是指为实现项目目标而开展的(专业或非专业)活动;产出主 要是指完成既定(专业或非专业)活动所获得的工作量,通常以数量的方式呈现;结果主要是指完成 既定(专业或非专业)活动给服务对象带来的益处(也是项目既定目标实现情况);影响主要是指服务 对象获益后给组织、社区(或社群),或更大的系统层次带来的变化。逻辑模型假定了社会工作服务 项目各个部分之间存在时间上的线性发展逻辑,因此可以使用箭头将各个部分连起来,进而实现项 目运作逻辑的可视化。④ 由于逻辑模型可以将庞杂的社会工作服务项目以简洁的逻辑呈现出来,使得项目更容易被认识和掌握,因而被评估者和研究者广泛使用 。
在使用上,逻辑模型可以贯穿社会工作服务项目的设计、实施和评估的全过程。在项目设计环节, 逻辑模型为项目设计者提供了开发项目的逻辑工具,可以协助项目设计者比较清楚地梳理和说明项目 的要素、方法和逻辑;在项目实施环节,逻辑模型可以帮助评估者识别和收集项目实施过程中的相关信 息和数据,以用于监测和完善项目;在项目评估环节,逻辑模型为检核项目实际运作情况与预定计划之间的匹配程度提供了依据 。基于这些特征,社会工作服务项目执行者只需根据预定内容开展工作,即可保障项目质量、实现项目目标 。而社会工作服务项目的评估只需根据预定的内容进行操作化处理,然后收集相关数据或资料来检核项目实际运作情况与预定内容和目标之间的匹配性。
图 1 是在逻辑模型的指导下对 N 市妇联购买的亲子教育项目进行的操作化处理。该项目在 N 市 M 社区实施。项目社会工作者通过走访居委会和开展需求调查发现,该社区多数家庭存在家庭沟通障 碍、家长缺乏科学育儿理念、亲子关系差等问题 。经过需求调查和问题分析,J 社会工作机构利用“家 庭教育方式综合测评”量表筛选出需要服务的 35 个家庭,将“帮助家长更新家庭教育理念”“学会有 效教育和沟通方法”“改善亲子关系”定为项目目标 。为实现这些目标,J 社会工作机构在结合以往经 验和相关文献的基础上,开展了家庭教育讲座(2 次)、亲子绘本共读(4 次)、亲子角色扮演互动工作 坊(4 次)、亲子户外运动会(2 次)、线上父母课堂(12 次)等服务 。该项目得到 N 市妇联 6 万元经费资 助,服务周期为一年。为保证项目顺利完成,J 社会工作机构安排了一个工作人员根据服务计划定期到M 社区开展服务。J 社会工作机构还联系了一支由 10 人构成的志愿者队伍配合工作人员开展服务。
图 1 逻辑模型及项目操作化示例
借助逻辑模型陈列出项目的要素及其线性因果逻辑 ,其本质上是一种“ 操作逻辑”(operational logic)。①它只是在形式上赋予社会工作服务项目某种逻辑以实现简化项目之目的。它的不足在于无法解释项目为何如此运作 。或者更准确地说,即便逻辑模型赋予了项目服务(或活动)与结果之间线性因果逻辑,它也不能够解释服务(或活动)与结果之间为何有这种因果逻辑 。从“生成”(generative)的 角度看,社会工作服务项目之所以产生(或实现)某种目标,是因为社会工作者提供服务(或活动),且 服务对象参与(甚至被完全卷入)服务 。这一“生成”的过程才是解释社会工作服务项目为何如此运作的关键。
(二)社会工作服务项目运作的逻辑之二:机制探索与分析
在项目评估中,除了实施理论外,还有一种理论叫项目理论(programmatic theory)。项目理论也 被称为“改变理论”。项目理论主要用于描述或说明项目如何和为何能够实现其预定的目标 。它关注 的是项目的“生成”过程 。和逻辑模型用描述方式来说明项目实施过程的各个环节和内容不同,项目 理论的主要目的是阐明项目何以发生的机制 。因此,项目理论就是借助“机制”的概念对项目“生成 ” 过程进行因果说明或解释。项目评估的核心就在于澄清机制,并借助不同类型的数据(定性或定量数据)来检验机制 。
何谓机制?总体而言,机制就是因果关系,它对于深度理解和解释社会现象至关重要。至少有 两种关于机制的理解值得社会工作服务项目评估借鉴 。一种是作为变量之间关系的机制,一种是作 为超验的构念的机制 。⑧在第一种理解中,机制通常被理解为一个干预变量或一组干预变量,用以解 释自变量与因变量(或目标变量)之间的相关关系 。具体表现为,机制被理解为原因变量 X,通过 中介变量 Z 对结果变量 Y 产生影响(X→Z→Y),在具体操作上可以通过界定和测量变量,然后借助统计分析来确定变量之间的关系 。就此而言,对机制的探索就转变成为对变量之间统计关系的探索。
这类关于机制的理解假定了机制是现实世界的一部分,具有可观测性、稳定性和现实性,可以通过观察来获得 。这类机制通常具有明显的经验性特征,因此这类机制分析属于经验层次的探索。
在第二种理解中,机制不再被假定为具备经验层次的某种可观测的属性,而是一种不存在于现 实世界中的分析性构念,是一种不可测的行动主体的身体、社会、心理过程,因此只有通过推理的方 式来认识 。②作为一种构念,机制可能(或不可能)与现实生活(或经验现象)适配 。它是对现实(或经 验)的一种剥离。它不再是经验现象及其关系本身,而是对经验现象及其关系的抽象解释。③④在具体操 作上,由于机制的不可观测性,导致研究者无法使用检验变量之间统计关系的方法对其进行识别 。研 究者可以借助理论思考,将经验现象及其关系跃迁到机制 。由此,研究者可以借助潜藏于经验现象表 层的理论来再现机制 。而再现的效果取决于所选取(或所建构)的理论与经验现象之间的同一性程 度 。这种同一性的标准是,机制有助于研究者理解可观察的现象,并将与现象有关的知识整合到一个 连贯的系统中 。⑤就两种机制的关系而言,作为变量的机制和作为构念的机制在功能上是互补的 。比 奇(Beach)和佩德森(Pedersen)从实用主义的立场出发认为:“使用机制进行分析的目标是尽可能地 接近潜在的因果机制,某些因果机制可以通过细致观察实际机制的方式进行概念化或操作化,再辅以大量证据支持进而接近潜在的因果机制 。
两种机制的结合为理解社会工作服务项目如何和为何运作的“生成”过程提供了认识思路 。一方 面,根据作为变量之间关系的机制,项目中的机制可以被理解为项目提供的服务(或活动)和项目预 期目标之间的因果关系假设 。项目评估的重点就是对项目的服务(或活动)与目标之间的因果关系 进行检验 。在操作层面体现为借助变量思维,将服务(或活动)和目标处理成可以测量的变量,并借助 统计方法检验变量之间的因果关系 。另一方面,借助所选取(或所建构)的理论概念对服务(或活动) 与目标之间的统计联系进行抽象解释,直到理论概念之间的关系与统计联系之间能够比较恰切地整 合到同一个知识框架之中 。用通俗易懂的语言来理解便是,社会工作服务项目评估研究,既要分析服
务(或活动)与项目目标之间的因果关系,这属于经验层次的因果关系;又要分析服务(或活动)背后
潜藏的概念和目标背后潜藏的概念之间的因果关系,这属于概念(或理论)层次的因果关系 。基于上 述不同机制类型及其关系,本文提出“机制(概念要素)—变量(可观测要素)—测量与检验”的分析框架用以指导项目评估研究。
图 2 借助前述机制并以它作为核心分析框架对 N 市妇联购买的亲子教育项目进行了分析。在机 制(或概念)层面,该项目将参与式学习理念贯穿在所有服务中 。该服务项目期望通过参与式学习提 升项目成员的家庭综合教育水平 。也就是说,该项目提供的几类服务都体现出家长和孩子的共同参 与和互动 。项目工作人员(社会工作者)会在服务过程中关注项目成员的参与情况,并在服务结束时 协助项目成员归纳和提炼服务心得,进而提升服务对象的家庭综合教育水平 。在经验层面,通过对机 制(概念)的操作化理解,得出该项目可观测的因果联系是通过为 35 个家庭提供亲子游戏、绘本共 读、角色扮演、父母课堂等服务,实现家庭教育理念更新、亲子有效沟通、亲子关系改善等目标 。在项 目效果检验中,项目方一方面使用了“家庭教育方式综合测评”量表做了单组前后测对比,结果显示 后测得分显著高于前测得分;另一方面从参与程度、频次等角度,对项目成员的参与情况、学习的主 观体验认知进行测量,并将这些变量与多维满意度得分和“家庭教育方式综合测评”得分进行简单的
相关分析 。结果显示,参与程度等变量与多维满意度得分和“家庭教育方式综合测评”得分均具有显著正相关 。
图 2 机制(概念要素)—变量(可观测要素)—测量与检验分析框架在项目评估中的运用示例
(三)研究步骤
根据前文的分析可知,社会工作服务项目评估研究就是借助逻辑模型,对庞杂的项目内容进行提炼,并探索其运作机制(经验和概念层次的因果关系)的过程 。为实现这一 目的,戴维森(Davidson) 提出包含项目信息需求评估、搜索项目变化、探索变化的原因并建立模型、借助文献补充模型、收集 资料检验模型的五步骤方法。刘江结合扎根理论提出了包含确定项目结果及其产生的可能原因、收 集项目资料并撰写结果说明报告、修订结果说明报告、检验结果说明报告、分析和解释评估结果的五 步骤方法 。刘江和顾东辉整合了机制的可观测性和不可观测性内涵,借助过程追踪(process tracing) 的方法提出了基于理论建构的过程追踪法与机制分析和基于理论检验的过程追踪法与机制分析 。由于上述方法在精炼项目逻辑方面各有优点,本文结合上述关于项目因果机制分析的思路提出以下五个研究步骤。
第一步,整理项目资料,确定项目形式逻辑 。这个步骤主要以逻辑模型为指导,对庞杂的项目内 容,如项目人员、资金、不同类型的服务(如个案、小组、社区)、目标等进行提炼 。一方面,运用逻辑模 型协助评估项目整体进展情况;另一方面,为识别项目经验层次的服务和目标,以及二者因果关系提供准备。
第二步,探索项目的目标和为实现目标而开展的服务,并且在这些服务和目标之间建立初步的 因果关系 。值得说明的是,项目的运作通常具有情境变异性 。受运作情境的影响,项目预定的目标可 能无法实现,反而产生诸多意外性的结果。因此,在确定项目目标时,除了项目预定目标外,还应该 识别项目运作所带来的实际结果 。这个步骤需要评估研究者阅读项目资料(如项目计划书)、访谈项目关键人物(如项目执行者、服务对象代表等)来建立初步的经验层次的因果关系。
第三步,收集更多的项目资料,确定(或修订)前一步骤形成的经验层次的因果关系 。在这个步骤 中,评估研究者需要将前一步骤形成的初步因果关系制作成访谈大纲,并扩大调查对象的范围来收 集访谈资料,以确定(或修订)经验层次的因果关系 。调查对象要从项目的关键人物扩展到一般的服务对象,通过访谈一般服务对象收集访谈资料并进行分析,提高已建立的因果关系的可靠性。
第四步,搜索研究文献,寻找能够解释项目经验层次因果关系的理论(或概念),形成包含概念层 次和经验层次的因果关系模型 。在这个步骤中,理论(或概念)的确定过程就是理论(或概念)与经验层次的因果关系不断循环对话,直至实现统一 的过程,即评估研究者需要对那些与经验层次的因果 关系相关联的理论进行比较和分析,以选择最能恰切地解释经验层次的因果关系的理论。
第五步,设计调查工具,选择新的服务对象收集资料(尤其是量化资料)以检验前一步骤形成的 概念层次和经验层次统一 的因果关系模型 。在这个步骤中,评估研究者需要将经验层次的因果关系 进行操作化处理,将其转化成可供测量的变量,或者选择既有文献中经过验证的测量工具(比如一些 特定的量表)来收集量化资料 。然后,评估研究者使用准确的统计分析方法进行分析,以检验因果关系模型。
通过上述五个步骤,社会工作服务项目评估研究既可以实现描述与分析的融合,又可以实现经 验分析和机制分析的融合 。经验分析和机制分析的融合,使得社会工作服务项目从朴素的实务(或活 动)走向更具深刻意涵的概念之间的关系 。这一过程揭示了社会工作专业知识的生成过程,为建构基于实务的中层理论提供了保障。
三、研究案例
本部分将借助三个服务领域、服务对象、服务内容均不同的评估研究案例来展示本文提出的分 析框架和研究步骤如何应用 。案例一是社区养老服务项目,案例二是基层社区自治项目,案例三是将干预研究和评估研究结合的评估项目。
( 一)案例一:社区养老服务项目评估
1. 案例背景
该案例是 SH 市 Y 街道老年人生活馆服务项目。在高度老龄化的背景下,Y 街道希望借助生活馆 盘活社区老年人资源,促进老年人的社区邻里互助 。生活馆是一座三层小楼,建筑面积约 1000 平方 米,是融助餐、日托、娱乐活动为一体的综合性为老服务场所 。第一层是餐厅,为老年人提供助餐服 务 。第二层是日托所,为经过评估的老年人提供日托服务 。第三层是各类活动室,包括运动室、手工 室、练歌室等,为健康老年人提供康乐活动 。L 社工事务所受街道委托,承接了 Y 街道老年人生活服 务馆的运作 。参与生活馆服务的老年人因年龄、身体状况、文化背景等方面的差异而呈现出不同的需 求 。为了充分利用生活馆各类资源,发挥社会工作的专业性,社会工作者将服务划分为三类:日托养 老服务、志愿者培训服务和星级会员服务 。 日托养老服务对象为经过区一级评估后,身体障碍被确定 为中度等级的老年人(21 名)。服务内容为日常护理和简单康乐活动。志愿者培训服务主要为社区内 有志愿服务精神和需求的老年人开展志愿者团队培育,提供志愿服务机会(志愿者不少于 500 人、团队核心成员不少于 20 人、开展志愿者培训不少于 5 次、进行志愿服务机会不少于 4 次)。星级会员服务主要为社区内具有一般性康乐活动需求的老年人提供文化、体育、健康、助餐等服务(服务不少于 260 人、各类康乐活动不少于 5500 人次、满意度不低于 80%)。为顺利完成项目,L 社工事务所派驻了一支由 5 人组成的运营团队,其中督导 1 名、项目主管 1 名、实务社会工作者 2 名、日常行政助理 1 名。
2. 评估过程
首先,收集项目资料,确定项目内容 。评估方收集了项目计划书(实际为项目标书)、季度监测报 告、中期评估报告、结项自评报告 。评估者在对这些资料进行分析的基础上,借助逻辑模型进行简化 处理。其中,项目投入包括 5 名工作人员、1 栋包含多种功能室的三层小楼;项目过程(或活动)包括针 对三类人群的三类服务,分别是日托养老服务(含日常护理和康乐活动)、志愿者培训服务(含志愿者 团队培育和提供志愿服务机会)、星级会员服务(含各类文娱康乐活动);项目产出包括 21 名日托老 人、20 人核心志愿者团队、500 人的注册志愿者、5 次志愿者培训、4 次志愿者服务 、为 260 人提供助餐服务、提供 5500 人次的文娱康乐活动;项目结果(或目标)主要是促进老年人社区邻里互助。
其次,从项目资料中识别项目的“生成”机制 。评估方从项目资料中识别出三类服务与项目目标 在经验层面的因果关系:日托养老 + 星级会员服务 + 志愿者培训服务→社区邻里互助提升 。为进一 步确认项目潜藏的机制,评估方对项目执行方和服务对象开展了两轮深度访谈后发现,该项目期望 老年人能够通过深度参与各类服务而获得改变,进而实现项目目标 。在此基础上,评估方从服务参与 和社区社会资本生成的理论中完善并确定了项目概念层次(机制)因果关系:生活馆服务参与→ 生活 馆团体互助→社区邻里互助 。在这个逻辑中,老年人参与生活馆的服务不能直接实现社区邻里互助 水平提升的项目目标 。社区邻里互助水平的提升需要老年人在参与生活馆服务的过程中,逐渐培养出一种团体互助的能力而得以实现。
最后,对前一步骤建构的因果关系进行检验 。评估方根据因果关系形成研究假设、制定调查问 卷,并以参与项目的老年人为抽样框抽取样本 。评估方抽取有效样本 144 份,借助结构方程模型进行
假设检验,结果支持前一步骤形成的经验和概念层次的因果关系。
(二)案例二:基层社区自治服务项目评估
1. 案例背景
该项目是位于 N 市主城区内 W 老旧小区的社区自治项目。该小区建于 20 世纪 80 年代,居民以回城知青和企业职工为主,是该市典型的老龄化、低收入、无物业的老旧社区 。因为无物业管理,社区的卫生、绿化等公共事务全靠居委会自上而下动员社区居民参与来解决 。在动员式社区治理模式下, 居民对社区公共事务的认知度低、社区认同感不足,进而导致居民社区参与积极性低、社区自治效率低。为扭转社区居民被动参与的局面,W 社区居委会引进 H 社会工作机构,开展以实现居民社区自治 为目标的服务项目 。H 社会工作机构为了在社区扎根,设计并开展了深受社区老年人喜欢的团体康 乐活动(如广场舞班、健身气功班、唱歌班等)。这些服务的目的重在吸引社区老年人知晓并参与本 项目(这些服务也是居委会要求机构提供的,以满足基层社区居委会服务社区居民的行政要求)。除 此之外,H 社会工作机构还开展了多种社区自治活动(如社区文化墙改造、楼道充电线安全防范意 识培训与宣传、社区邻里活动策划、银发互助活动、社区安全培训等)。这类服务以协商治理为指导 理念,每一项服务都以社区居民为主体,通过“居民事情自己议、居民事情自己定”的策略,实现居民 自己管理社区内部事务 。H 社会工作机构派驻了 1 名专职社会工作者、2 名项目助理、1 名督导运作该项目。
2. 评估过程
首先,收集项目资料,确定项目内容 。该项目已经运作满 2 年,项目内容和运作过程变得错综复 杂,与初期的项目计划差异较大 。为了解项目运作全貌、简化项目框架,评估方通过多种途径收集项 目资料,包括查阅项目标书、查阅 H 机构工作计划书、实地参观社区、访谈 H 社会工作机构的专职 社会工作者、访谈 W 社区党支部书记等 。最终,评估方确定了项目服务(或活动)包含两种类别:社 区自治服务(如社区文化墙改造、楼道充电线安全防范意识培训与宣传、社区邻里活动策划、银发互 助活动、社区安全培训)和一般性康乐活动(如广场舞班、健身气功班、唱歌班等)。项目目标是居民社区自治。
其次,从项目资料中识别项目“生成”机制 。在前一步骤的基础上,评估方识别出项目经验层次的 因果关系是:社区自治服务 + 一般性康乐活动→居民社区自治。在进一步确定潜藏机制的过程中,评 估方以社区党支部书记、社区居委会主任、项目专职社会工作者、2 名社区居民骨干为对象开展了两 轮小组访谈 。通过访谈,一方面确认了项目内容和经验层次的因果关系,另一方面项目各方通过讨论 达成共识,即经过 H 社会工作机构为期 2 年的服务,W 社区居民表现出强烈的为社区服务的意愿。通 过对研究文献中社区社会资本相关概念及维度的界定,评估方将其确定为“社区志愿精神”。 由此,项目又增加了一条新的因果关系,即社区自治服务 + 一般性康乐活动→社区志愿精神。在此基础上,评估方就社区治理文献进行检索分析后认为,只有包含参与性内涵的服务才能促进居民社区自治和培 育社区志愿精神 。一般性康乐活动仅仅以表面活动为目的,无法促进居民社区自治和培育社区志愿 精神 。由此,评估方归纳出“ 自治性参与”和“一般性参与”两个概念,并且提炼出概念层次(机制)的因果关系:自治性参与 + 一般性参与→居民社区自治 + 社区志愿精神。
最后,对前一步骤建构的因果关系进行检验 。评估方对两条机制进行操作化处理,提出研究假设,确定变量和测量方式。然后,评估方以 H 社会工作机构所有活动记录签到表的人名为抽样框抽取 样本进行问卷调查,获得有效问卷 177 份 。最终,评估方使用潜在类别模型和多元回归模型检验了研究假设,支持了经验和概念层次的因果关系。
(三)案例三:社会工作评估促进社会工作规范化和专业化项目评估
1. 案例背景
该项目是针对一项省级政府购买社会工作示范项目的评估。J 省民政厅购买了 15 项社会工作专 业示范项目(省级),执行周期为 1 年 。民政厅委托该省省级社会工作协会对 15 个示范项目进行评 估,要求社会工作协会在评估时秉持“ 以评促建”的理念,通过评估来推动和提升 15 个示范项目的发 展 。根据需求,社会工作协会组建了由 5 人构成的评估团队 。团队成员包含高校社会工作专业教师、 政府研究部门工作人员、资深实务社会工作者 。为实现“ 以评促建”的目标,评估团队结合 15 个示范 项目的需求,将评估的目标设定为社会工作项目规范化和社会工作服务专业化 。为实现这两个目标, 评估团队提供了包含季度实地监测、中期集中诊断、末期总结性评估的评估策略 。此外,社会工作协 会还组建了一支由社会工作专业硕士构成的评估志愿者团队 。该团队在接受社会工作协会的专业培训后进行实地监测、收集项目阶段性资料。
2. 评估过程
该评估项目不同于本文前面两个案例 。前面两个案例属于事后评估,即在项目结束后展开评估。 本案例是在提前知晓评估目标的前提下开展的(准)干预研究 。本案例经验层次和概念层次的因果关系均为评估者提前设计,而非事后对项目经验进行归纳。该项目具体设计和评估过程如下。
首先,根据“ 以评促建”的要求,结合 15 个项目的需求,将评估目标确定为社会工作项目规范化和社会工作服务专业化。
其次,探索能够解释和指导实现“ 以评促建”的理论机制 。 由于民政厅提出的“ 以评促建”的要求 在一定程度上违背了第三方评估客观性的要求 , 因此需要探寻恰切的理论用以指导本次评估工作, 以保证评估工作具有学理上的合理性 。评估团队在文献检索和分析后,确定以赋权评估(建构主义范 式下的一种评估方法)作为方法指引 。在此方法指引下,评估团队建构的概念层次的因果关系是:赋 权评估→社会工作项目规范化 / 社会工作服务专业化 。经验层次的因果关系包括两个,分别是:季度 实地监测 / 中期集中诊断评估 / 末期总结性评估→项目准备 / 项目过程管理 / 项目财务管理 / 服务成 效,季度实地监测 / 中期集中诊断评估 / 末期总结性评估→ 服务可获得性 / 服务参与性 / 工作者能力/ 需求满足。
最后,对前一步骤的因果关系进行检验 。总体而言,该评估项目采用了准干预研究策略 。鉴于没 有对照组,评估团队就采用了单系统设计的方法来指导研究 。在单系统设计的框架中,评估团队根据 评估工作的时间节点,分别在第一季度、第二季度(中期)、第三季度、第四季度(末期)收集质性和定 量评估资料。其中,定量资料又包括主观(15 个项目相关人员自我评价得分)和客观(评估团队根据项 目实际情况打分)两类 。评估团队综合使用了描述分析、t 检验、多元回归分析等方法,检验了研究假
设,支持了该项目预先设定的经验和概念层次的因果关系。
四、结论与讨论
( 一)结论
笔者认为,社会工作评估研究的重要工作之一是通过研究社会工作服务项目而生产知识,甚至 建构理论(或至少是概念之间的联系)。本文提出用逻辑模型简化庞杂的项目信息,用两层次机制观 点及研究步骤探讨经验和概念层次的因果关系,正好符合这一 旨趣 。本文完整展示了三个不同服务 领域、不同服务对象、不同服务内容的评估研究案例 。虽然三个案例都按照相同的思路和步骤展开研 究,但是又各自呈现出自身的特点 。案例一和案例二同属于事后评估研究,但是二者又有差别 。案例 一不论是经验层次的因果关系,还是概念层次的因果关系,都源自项目计划书本身 。案例二除了源自 项目标书的因果关系之外,通过深度访谈还获得了一条项目设计时不曾考虑到的因果关系,这条因 果关系是在项目实际运作过程中产生的 。对比两个案例因果关系生成过程可以发现,以机制探索为 核心的评估研究,不仅可以在事后挖掘项目预定因果关系,还可以挖掘项目在运作过程中产生的“意 外性”因果关系。这进一步说明了以机制探索为核心的评估研究能够挖掘项目生成的新知识。案例三 则属于将事前设计和事后评估进行结合,具有较为明显的干预研究特征 。这为社会工作服务项目评估研究提供了一种可以借鉴的研究思路。
(二)讨论
我国社会工作的发展一直以来依托政府购买社会工作服务项目 。受行政指标的影响,多数项目 体现出活动(而非专业服务)导向、专业性不足、项目内在逻辑不明等特征 。这些项目通常会被视为 “ 活动的堆砌”而无法进入研究者(尤其是专业的实务研究者)的视野 。研究者们认为这些活动不具有 专业内涵 。它们不仅无法帮助社会工作实现专业化,甚至还会阻碍社会工作服务的专业化 。于是,研 究者们开始倡导融合了专业性、研究性和实务性的社会工作实务研究方法,比如“实务研究”“行动研 究”“干预研究”等。不可否认,这些研究方法(甚或研究范式)都非常具有开拓性。但是,它们对项目的 实施环境要求甚高,以至于最终难以被真正实施 。以干预研究为例,严谨规范的干预研究需要研究者 从严格的文献检索开始,形成干预方法、制定研究设计(随机对照实验)、收集和分析资料 。 由于其各
个环节要求严格,因而无法在现实的场景中被大量应用 。
结合本文提出的研究思路和研究步骤,在以机制探索和分析为核心的理念指引下,评估研究者 可以从看似毫无专业属性的活动中整理、归纳,直至抽象出经验和概念层次的因果关系 。这些经验和 概念层次的因果关系,揭示了活动得以产生作用的原理,为积累实务知识提供了帮助。此外,概念层 次的因果关系从一定程度上来看比较接近默顿所提出的中层理论。对于社会工作理论建构而言,我 们可以从众多的源自实务的中层理论中继续提炼和抽象出更加具有解释力的社会工作理论。总之, 本文提出的基于机制分析的分析框架和步骤可以用于研究我国大量存在的政府购买社会工作服务项目。