【作者简介】刘芳,女,重庆人,重庆师范大学历史与社会学院社会工作系讲师,研究方向为社会保障与社会工作、社会工作评估(重庆401331);吴世友,男,美国北卡罗来纳大学教堂山分校社会工作学院博士研究生,研究方向为贫困与社会发展、社会工作评估等;MarkW.Fraser,美国北卡罗来纳大学教堂山分校社会工作学院。
【关键词】案主满意度;社会工作实务;评估社会工作
一、社会工作评估对社工实务的意义
近年来,中国社会工作发展迅速,特别是在政府和教育机构的大力推动和支持下,我国的社工实务也发展迅速。2012年4月,中央19个部委和群团组织联合出台了《社会工作专业人才队伍建设中长期规划(2011-2020年)》,提出到2015年,要培养中国一线社会工作专业人才总量达到50万,同时,也将加快政府购买社工服务的进程。2012年,仅广州政府用于购买社会服务的资金就有2.6亿。目前,全国已经建立了1000多家民办社会工作服务机构,在民生、民族团结、社区服务、犯罪矫治等领域为服务对象提供服务。社会工作是一门专业,是一门科学,更是一个科学助人的过程,在社工实务发展迅猛的今天,我们尤其要重视社会工作的科学过程,因而社会工作评估环节显得尤为重要。
社会工作评估的重要意义在于:一是可以考察社会工作介入效果、服务对象进步情况及介入目标的实现程度;二是能够应用于总结工作经验,改善工作的方法和技巧、提供高质量的服务工作;三是检验社会工作介入的有效性。在问责制度的背景下,社会工作机构需要向服务对象做出交代;在接受了来自政府、基金会以及社会的资助之后,要向资助方以及群众和志愿者做出工作的负责说明;同时,也需要向专业进行交代。①因此,有效性的验证也十分必须。
二、中国社会工作实务评估的现状
作为促进社会工作机构发展的有效视角和途径,社会工作评估已在国外社会工作机构发展中得到了较好的应用,多种有效的评估方法广泛应用于社会工作实务领域,本文要介绍的是案主满意度(client/consumersatisfaction)评估。
三、案主满意度评估介绍
(一)基本概念与理论模式
(二)案主满意度量表
对文献进行回顾,我们可以发现案主满意度量表经历了一个发展的过程:早在20世纪70年代到80年代,研究者发展出几种不同的满意度量表,并开始尝试运用他们去评估效果。在20世纪90年代,研究者开始发现在用满意度量表进行评估的过程中,存在着一些方法论的问题。于是,研究者在发展新的满意度量表的时候,尝试提高信度和效度。此外,研究者们也并没有把满意度作为唯一的方法去评估成效。相反,他们把案主满意作为成效评估的一个方面并结合其他的结果去评估成效。比如,当评估药物滥用项目的治疗效果,会综合应用药物使用情况、行为改变、心理社会功能和案主满意度。(13)案主满意度被主要应用于健康和心理卫生领域,现在也被广泛应用于社会服务的各个方面。笔者将介绍四种国外比较常用的量表,通过研究这些量表,并进行本土化,可以丰富我国社工实务领域的评估和研究工作。
1.服务对象满意度问卷(ClientSatisfactionQuestionnaire),简称CSQ
CSQ量表被证明有很高的内在一致性和案主接受度。同时案主满意度的有效性在临床领域被很好地证明过。(16)
CSQ量表对于社工机构的服务项目评估有一定的借鉴作用。从服务预约、机构地点、服务前台到直接服务人员的技能、态度,总体的服务质量、效果,评估的方面比较全面,评估的结果也很有助于促进机构在各个方面的改善。
2.服务满意度量表(ServiceSatisfactionScale(17)),简称SSS
3.社会服务满意度量表(Reid-GundlachSocialServiceSatisfactionScale(19)),简称R-GSSSS
社会服务满意度量表因为是特别针对社会工作人员的,所以对社会工作者服务的评估具有极强的借鉴作用。在量表中,对社会工作人员的各种专业技巧都有评估,比如社工人员对案主的倾听、同感、尊重、保密等。同时,问题也涉及在接受服务时,案主的情绪与态度,比如是否感到轻松,是否对机构充满期待等等。
4.案主满意度调查(CSI)是一共有25个项目的量表,适用于度量案主对于服务的感受。问题涉及案主主观感受的各个方面,案主的回答从1到7,1是代表“从来没有”,7是“总是这样”,X代表不适用。CSI里20个项目是正向问题,5个是负向问题。正向问题:这里的服务给我很大帮助;他们把我当作一个人,而不是一个号码;在这里,他们接受真正的我。负向问题:他们按自己方式做事,而不是帮助我找到合适我的方法;他们只关心收费的问题。CSI-SF是CSI的缩减形式,一共只有9个问题,没有负向的问题。(20)
之前的案主满意度量表只是客观地描述“满意”或者“不满意”,这样会损失很多有意义的信息。因此,Dudley等人在发展CSI的时候,加入了开放性问题。(21)但是开放性问题的数量到底多少是合适的,目前少有研究者进行讨论。
除了以上几种量表,还有多种量表。有专门针对青少年的满意度量表:青年满意度问卷、父母与孩子的满意度调查问卷、多维青少年满意度量表;有针对寄养儿童和寄养家长服务的满意度量表;有药物治疗满意度调查问卷;有青少年抑郁症的治疗满意度调查问卷等等。
5.对以上四个量表的比较见表1。
(三)好的量表共同具有的特征
四、案主满意度量表的信度和效度
(一)效度(validity)
研究者们意识到满意度评估也有着一定的理论和方法论上的局限性,他们尝试更多的努力以确保满意度量表的有效性。例如,当研究人员开发了一个满意度量表,他们会在文献综述的基础上,进行焦点小组去收集案主的期望,然后问卷的题库将根据案主的反馈产生。然后研究者们会在不同的国家或群体中进行预测试。(22)(23)
(1)表面效度(facevalidity)
一些研究者在不断发展满意度量表的时候测试表面效度。比如:在CSQ量表发展的不同过程,表面效度也在不断被测试。通过收集参与者的非正式反馈意见,了解问题是否能够真正反映出案主的“满意度”。(24)
(2)内容效度(contentvalidity)
如前所述,研究者通常会用焦点小组去搜集案主的期望,促使问题可以在量表发展的不同时期去支持内容效度。(25)一些研究者通过共同的研究和验证性因素分析来保证内容效度。(26)然而,McMurtry和Hudson认为研究并没有很清晰地支持不同满意度当中不同纬度的存在。(27)比如,在较大的样本情况下,Greenfield和Attkisson验证了满意度的7个纬度,但是只证明了两个维度。(28)
(3)建构效度(constructvalidity)
(4)预测效度(predictivevalidity)
(二)信度(reliability)
量表信度的高低通常用Cronbach’salpha值来衡量。Nunnally(1978)认为,一般量表的Cronbach’salpha系数大于0.7,则该量表具有可接受的信度。(37)我们发现,现已发表的论文中所使用的满意度量表,大部分都具有较高的信度。例如,最初设计的案主满意度量表(CSQ-8)的Cronbach’salpha为0.86(38),该量表在之后的研究中,也被检测出具有较高的信度,其Cronbach’salpha值都在0.9以上。(39)(40)此外,对案主满意度量表的重测信度(test-retestreliability)和内部一致性信度检验,其可靠性系数也都非常高。(41)
五、关于量表的一些讨论
(一)样本选择的偏差
(二)协变量的控制问题
研究者探究影响案主满意度的因素,但是有些协变量没有控制好,所以用满意度评估来作为成效评估的标准会导致结果的偏差。期望是决定满意度的因素之一。Stimson和Webb(44)最早提出对治疗的好处的认知以及案主期望的达到影响到满意水平。目前没有一致的研究结果表明,人口学特征与案主满意度的关系。然而,仍然有一些研究表明,案主自身的特点,如社会阶级,婚姻状况,性别,种族和年龄都会影响他们对服务或治疗的满意水平。(45)(46)
(三)较高的满意度并不一定是“治疗结果好”的同义词
较高的满意度可能反映的是社会赞许性反应,而不是真正的满足。(47)另一种情况是满意度水平反映的是对服务期望的满足,而不是实际的案主需求被满足或是实际效果的达到。(48)正是由于这些威胁有效性的因素存在,有一些批评是针对利用满意度量表来评价治疗结果。
总的来说,案主对于服务的满意度被确认为治疗和效果的一项重要指标。(49)(50)但是,抽样偏差似乎很难避免,重要的是找出不同抽样方式所带来的偏差结果,并找出偏差最小的方式。
六、案主满意度评估对内地社会工作实务的借鉴意义
案主满意度评估可以在社会工作评估中发挥重要的作用。实务研究和评估体系的构建是现代社会工作发展的重要组成部分。当前中国内地的实务工作正处于迅速发展阶段,但是,由于起步较晚,专业化水平还有待提升。同时,尽管积累了丰富的实务经验,但由于未能或未及时做系统的理论化提升,因而在中国的本土理论仍有欠缺。教育、实务和理论相互之间存在一定的断层。对国外的社会工作实务评估作系统探讨,在此基础上构建适用于我国社会工作实务模式,应当有助于降低教育、实务和理论之间的断层,有助于促进中国社会工作的发展。
注释:
①顾东辉:《社会工作评估》,高等教育出版社,第20-25页。
②吴伟东:《社会工作评估:层次深入模型》,《社会工作》2004年第10期,第42-45页。
③陈钟林、吴伟东:《社会工作评估——一般性架构》,《重庆社会工作职业学院学报》2005年第6期,第59-60页。
④库少雄:《社会工作评估——单样本设计》,《北京科技大学学报》2004年第9期,第6-9页。
⑤李华伟:《基线评估法在社会工作实务过程中的应用》,《社会工作》2011年第3期,第59-60页。
⑥宋跃飞:《机构评估制度建构问题研究——基于绩效评估的视角》,《社会工作》2010年第1期,第62-65页。
⑦Cardozo,R.N.(1965).Anexperimentalstudyofcustomereffort,expectation,andsatisfaction.JournalofMarketingResearch,244-249.
⑧Copeland,V.,Koeske,G.&Greeno,C.G.(2004).Childandmotherclientsatisfactionquestionnairescoresregardingmentalhealthservices:Race,age,andgendercorrelates.ResearchonSocialWorkPractice,14(6),434-442.
⑨Sharma,A.,Levy,M.andKumar,A.(2000).Knowledgestructuresofsalespeopleasantecedentsofretailsalesperformance:Anempiricalexamination.JournalofRetailing,Vol.76No.1,pp.53-69.
⑩(12)Pascoe,G.C.(1983).Patientsatisfactioninprimaryhealthcare:Aliteraturereviewandanalysis.EvaluationandProgramPlanning,6(3-4),185-210.
(11)Day,Ralph(1977).“Towardaprocessmodelofconsumersatisfaction”,inConceptualizationandMeasurementofConsumerSatisfactionandDissatisfaction,H.KeithHunt,ed.Cambridge,MA:MarketingScienceInstitute(May),153-86.
(13)Sowers,K.M.,Ellis,R.A.,Washington,T.&Currant,M.(2002).Optimizingtreatmenteffectsforsubstance-abusingwomenwithchildren:AnevaluationoftheSusanB.AnthonyCenter.ResearchonSocialWorkPractice,12(1),143-158.
(14)Nguyen,T.D.,Attkisson,C.&Stegner,B.L.(1983).Assessmentofpatientsatisfaction:Developmentandrefinementofaserviceevaluationquestionnaire.EvaluationandProgramPlanning,6(3-4),299-314.
(15)Larsen,L.D.,Attkisson,C.C.,Hargreaves,A.W.&Nguyen,D.T.(1979).Assessmentofclient/patientsatisfaction:Developmentofageneralscale.EvaluationandProgramPlanning,2,197-207.
(16)Pascoe,G.C.&Attkisson,C.C.(1983).Theevaluationrankingscale:Anewmethodologyforassessingsatisfaction.EvaluationandProgramPlanning,6(3),335-347.
(17)Greenfield,K.G.&Attikisson,C.C.(2004).TheUCSFclientsatisfactionscales:II.Theservicesatisfactionscale-30.TheUseofPsychologicalTestingforRreatmentPlanningandOutcomesAssessment,3,799-811.
(18)Clark,C.C.,Scott,E.A.,Boydell,K.M.&Goering,P.(1999).Effectsofclientinterviewersonclient-reportedsatisfactionwithmentalhealthservices.PsychiatricServices,50(7),961-963.
(19)Reid,N.P.&Gundlach,P.J.(2000).Reid-gundlachsocialservicesatisfactionscale(R-GSSSS).InK.Corcoran,&J.Fischer(Eds.),MeasuresforClinicalPractice(Vol.2).(635-638).NewYork,NY:TheFreePress.
(20)ClarkA,FriedmanMJ(1983).Ninestandardizedscalesforevaluatingtreatmentoutcomeinamentalhealthclinic.JournalofClinicalPsychology.39,939-950.
(21)Dudley,A.L.,Melvin,G.A.,Williams,N.J.,Tonge,B.J.&King,N.J.(2005).Investigationofconsumersatisfactionwithcognitive-behaviourtherapyandsertralineinthetreatmentofadolescentdepression.AustralianandNewZealand:JournalofPsychiatry,39(6),500-506.
(22)Evans,C.J.,Trudeau,E.,Mertzanis,P.,Marquis,P.,C42Y309.jpg,B.M.,Wong,J.&Mayne,T.(2004).Developmentandvalidationofthepaintreatmentsatisfactionscale(PTSS):Apatientsatisfactionquestionnaireforuseinpatientswithchronicoracutepain.Pain,112(3),254-266.
(23)(25)Gerkensmeyer,J.E.&Austin,J.K.(2005).DevelopmentandtestingofascalemeasuringparentsatisfactionwithStaffinteractions.TheJournalofBehavioralHealthServices&Research,32(1),61-73.
(24)CoeJ.B.,AdamsC.L.,EvaK.,DesmaraisS.,BonnettB.N.(2010).Developmentandvalidationofaninstrumentformeasuringappointment-specificclientsatisfactionincompanion-animalpractice.PreventiveVeterinaryMedicine93:201-210.
(26)Brannan,A.,Sonnichsen,S.&Heflinger,C.(1996).Measuringsatisfactionwithchildren’smentalhealthservices:Validityandreliabilityofthesatisfactionscales.EvaluationandProgramPlanning,19(2),131-141.
(27)McMurtry,S.L.&Hudson,W.W.(2000).Theclientsatisfactioninventory:Resultsofaninitialvalidationstudy.ResearchonSocialWorkPractice,10(5),644-663.
(28)Greenfield,T.K.&Attkisson,C.C.(1989).Progresstowardamultifactorialservicesatisfactionscaleforevaluatingprimarycareandmentalhealthservices.EvaluationandProgramPlanning,12,271-278.
(29)Streiner,D.L.,Norman,G.R.(2003).HealthMeasurementScales:APracticalGuidetoTheirDevelopmentandUse,3rded.OxfordUniversityPress,NewYork.
(30)Jackson,J.L.,Chamberlin,J.,Kroenke,K.(2001).Predictorsofpatientsatisfaction.Soc.Sci.Med.52,609-620.
(31)Woodcock,A.,Barleggs,D.(2005).Developmentandpsychometricvalidationoftheveterinaryservicesatisfactionquestionnaire(VSSQ).J.Vet.Med.A.Physiol.Pathol.Clin.Med.52,26-38.
(32)Stewart,M.A.&Wanklin,J.(1978).Directandindirectmeasuresofpatientsatisfactionwithphysicians’services.JournalofCommunityHealth,3,195-204.
(33)Pascoe,G.C.(1983).Patientsatisfactioninprimaryhealthcare:Aliteraturereviewandanalysis.EvaluationandProgramPlanning,6(3-4),185-210.
(34)InstituteofMedicine(IOM).(2006).ImprovingtheQualityofHealthCareforMentalandSubstanceUseConditions.Washington,DC:NationalAcademiesPress.
(35)Holcomb,W.R.,Parker,J.C.,Leong,G.B.,Thiele,J.&Higdon,J.(1998).Customersatisfactionandself-reportedtreatmentoutcomesamongpsychiatricinpatients.PsychiatricServices,49(7),929-934.
(36)AtkinsonMJ,SinhaA,HassSL,ColmanSS,KumarRN,BrodM,etal.(2004).Validationofageneralmeasureoftreatmentsatisfaction,thetreatmentsatisfactionquestionnaireformedication(TSQM),usinganationalpanelstudyofchronicdisease.HealthandQualityofLifeOutcomes.3,2-12.
(37)Nunnally,J.C.(1978).PsychometricTheory(2nded.).NewYork:McGraw-Hill.
(38)Attkisson,C.C.&Zwick,R.(1982).Theclientsatisfactionquestionnaire:Psychometricpropertiesandcorrelationswithserviceutilizationandpsychotherapyoutcome.EvaluationandProgramPlanning,5(3),233-237.
(39)Dearing,R.L.,Barrick,C.,Dermen,K.H.&Walitzer,K.S.(2005).Indicatorsofclientengagement:Influencesonalcoholtreatment,satisfaction,andoutcomes.PsychologyofAddictiveBehaviors,19(1),71-78.
(40)Donker,T.,VanStraten,A.,Riper,H.,Marks,I.,Andersson,G.&Cuijpers,P.(2009).Implementationofinternet-basedpreventiveinterventionsfordepressionandanxiety:Roleofsupport-Thedesignofarandomizedcontrolledtrial.Trials,10(59).
(41)Brannan,A.,Sonnichsen,S.&Heflinger,C.(1996).Measuringsatisfactionwithchildren’smentalhealthservices:Validityandreliabilityofthesatisfactionscales.EvaluationandProgramPlanning,19(2),131-141.
(42)Dudley,A.L.,Melvin,G.A.,Williams,N.J.,Tonge,B.J.&King,N.J.(2005).Investigationofconsumersatisfactionwithcognitive-behaviourtherapyandsertralineinthetreatmentofadolescentdepression.AustralianandNewZealand:JournalofPsychiatry,39(6),500-506.
(43)Pascoe,G.C.(1983).Patientsatisfactioninprimaryhealthcare:Aliteraturereviewandanalysis.EvaluationandProgramPlanning,6(3-4),185-210.
(44)Simon,C.,Little,P.,Birtwistle,J.andKendrick,T.(2003),Aquestionnairetomeasuresatisfactionwithcommunityservicesforinformalcarersofstrokepatients:Constructionandinitialpiloting.Health&SocialCareintheCommunity,11:129-137.
(45)Cardozo,R.N.(1965).Anexperimentalstudyofcustomereffort,expectation,andsatisfaction.JournalofMarketingResearch,244-249.
(46)Hall,J.A.andDornan,M.C.(1990)Patientsociode-mographiccharacteristicsaspredictorsofsatisfactionwithmedicalcare:Ameta-analysis.SocialScience&Medicine30,811-818.
(47)Young,S.C.,Nicholson,J.,andDavis,M.(1995).Anoverviewofissuesinresearchonconsumersatisfactionwithchildandadolescentmentalhealthservices.JournalofChildandFamilyStudies4(2),219-238.
(48)Lyons,J.S.,Howard,K.I.,O’Mahoney,M.T.andLish,J.D.(1997).Themeasurementandmanagementofclinicaloutcomesinmentalhealth.NewYork:JohnWileyandSons.
(49)Gerkensmeyer,J.E.,Austin,J.K.&Miller,T.K.(2006).Modeltesting:Examiningparentsatisfaction.ArchivesofPsychiatricNursing,20(2),65-75.
(50)Graham,J.,Denoual,I.&Cairns,D.(2005).HappywithyourcareJournalofPsychiatricandMentalHealthNursing,12,173-178.