【关键词】开放科学开放传播学研究透明性复制性研究
【中图分类号】G206【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.20.010
【作者简介】徐敬宏,北京师范大学新闻传播学院教授、博导,全域认知与国际传播安徽省哲学社会科学重点实验室研究员。研究方向为新媒体与互联网治理、健康传播与跨文化传播、影视与游戏。主要著作有《网络传播中的隐私权及其保护》《社交媒体中的隐私侵权问题研究》《建设性新闻对受众风险感知与应对的影响研究——以健康传播为例》(论文)、《习近平全球互联网治理重要论述研究:理论逻辑与实践路径》(论文)等。
引言
早在2015年,西方传播学就开始了对开放科学的探索,当时CommunicationMethodsandMeasures出版了以开放科学为主题的专辑,掀起了关于“传播学中存在的可疑研究和出版实践”的思考。2021年,国际传播学会(ICA)的旗舰刊物JournalofCommunication以“开放传播学研究”为主题出版特刊,其中33位知名传播学研究者联合署名,发表了名为《传播学领域的开放科学议程》的论文,引发了传播学学界的轩然大波。时至今日,一系列传播学权威期刊针对开放科学进行了专刊探讨,包括DigitalJournalism、MediaandCommunication、CommunicationResearchReports等,呼吁“开放传播学”的实践,倡导实现传播学研究在多个环节的开放,包括预注册、开放数据等。
对研究进行预注册
预注册对于提升我国传播学研究质量具有重要借鉴意义。首先,预注册有助于防止“Harking”(HypothesizingaftertheResultsareKnown,即在已知结果后提出假设)和“P-Hacking”(通过选择性地报告数据或分析达到显著性水平的不当操作)。“HARKing”和“P-hacking”这些行为可能会带来虚假的研究结果,而预注册通过事先确定研究步骤和分析方法来减少这种可能性。例如,Schafer和Schwarz从过去没有预注册的出版物中随机抽取了900个效应,并与93个来自预注册出版物的效应进行了比较,结果显示预注册研究的效应值(r=.16)不到未预注册研究(r=.36)的一半,这表明预注册可以有效降低“假阳性”的风险。[5]其次,预注册不会妨碍研究人员进行后续的探索性数据分析,但要求研究者明确区分验证性分析和探索性分析。探索性分析对于科学的进步至关重要,它们不应该被伪装成验证性分析,而应该被放在研究报告更显眼的位置,预注册有助于提高研究的透明度,使其他研究人员能够更清楚地理解研究的设计和分析方法。最后,预注册还可以提高研究的可复制性。通过公开详细的研究计划,其他研究人员可以更准确地复制研究,从而验证研究结果的可靠性。
预注册报告一般包含两个阶段:在第一阶段,研究者提交一份包含引言、方法、样本大小等信息的提案,然后评审人员评估这个研究提案的优缺点。如果评审通过,研究者的论文将获得“原则上的接受”,这意味着只要按照提案指定的方式进行,无论结果如何,论文都保证会被发表。在获得“原则上的接受”后,研究者按照预注册的计划进行数据收集和研究。在第二阶段,研究者提交完整的论文初稿,包括他们预注册的分析计划的结果、探索性结果和对发现的讨论,任何偏离预注册的内容都需要进行解释。在第二轮同行评审中,评审人员评估这项研究是否符合原本的计划,并提供反馈。
预注册报告将同行评审的步骤提前的措施方法,对我们传播学研究具有以下借鉴意义:首先,改进研究设计。预注册报告在研究进行之前就提供了同行评议,与传统的模式相比,在研究实施前评审人员可以提出建议来强化研究方法、提升研究质量,从而避免潜在的设计缺陷。其次,消除发表偏见。由于预注册报告采用“原则性接受”政策,其发表与否不依赖于研究结果。这意味着无论研究结果是正面还是负面,只要研究按照预先批准的计划进行,就有可能被发表。这样可以消除对非显著结果的发表偏见,使得研究结果更加真实可靠。再次,鼓励探索性研究。预注册报告不仅可以用于验证性研究,而且支持探索性研究,使研究者能够自由地追求新的科学发现,而不必担心这些发现是否符合传统的“显著性”标准。最后,提高科学研究的透明度和可复制性。预注册报告在研究开始之前明确研究设计和分析计划,增加了科学研究的透明度,有助于其他研究者重复和验证研究结果。
研究方法是一份详细的书面说明,其中包括假设、方法和分析方案等信息。对于相对简单的研究,可以在研究报告的正文中包含所有这些信息,或者可以创建一个单独的说明文件,并在报告正文中提供更高层次的总结。对于某些实验程序,为了使读者更好理解,可以拍摄指导性的视频素材。总之,研究方案可以被视为文字表达层次,其汇集和描述了具体的研究产品,如材料、软件和分析代码等,并告知读者在研究中如何应用。无论采用哪种方式,研究方案都需要具备足够的细节,这样其他研究者可以在无原作者帮助的情况下复制前人的研究。
颁发开放科学徽章
徽章的目的与分类。开放科学徽章(OpenScienceBadges)是一种旨在提升科学透明度的方法,最初是为了鼓励科学研究中的开放实践而设计的。开放科学徽章的引入始于2014年,最早由心理学权威刊物PsychologicalScience(2023年影响因子4.8)采用。开放科学徽章被用来标记和表彰公开数据、公开材料,或已经预先注册的研究。
不同类型的开放科学徽章都需具备特定的申请条件。以Wiley数据库为例,其规定了三种类型的开放科学徽章,分别代表作者实施了不同的开放科学实践。[8]一是开放数据徽章(OpenDataBadge):这个徽章表示作者共享了必要的、数字化的研究数据,使其他研究人员可以访问和使用这些数据。对于危及保密性或参与者匿名性的数据,并不在开放数据的规范之内,这类数据也不会被授予开放数据徽章。二是开放材料徽章(OpenMaterialsBadge):开放材料徽章表示作者提供了他们研究中使用的材料,如实验设计、问卷或测量工具等,这些材料是写作方法论的组成部分,也是复现所需的重要材料。任何无法数字共享的组件都必须详细描述,以便其他研究者理解如何复现论文的程序,以及材料与方法论之间的关系。三是预注册徽章(PreregisteredBadge):预注册徽章是为拥有预注册设计的研究而授予的,而且在可能的情况下,研究材料本身也包括在内。这并不限制作者报告额外分析的结果,作者可以随时向徽章中添加注释,如“预注册+分析计划徽章”,该徽章还包括研究的分析计划和报告结果。
其他数据库也采用了类似的开放科学徽章政策,例如,Sage数据库旗下的传播学期刊CommunicationResearch同样提供了三种类型的开放科学徽章。[9]一是开放数据徽章:要求提供用于访问公开可用数据的URL、DOI或其他永久路径。这些数据必须存放在一个公开的、永久性的开放存取数据库中,且需要有足够的信息使其他研究者能够复现所有报告的结论。二是开放材料徽章:需要提供访问研究材料的URL、DOI或其他永久路径,这些材料同样应存放在公开的、永久性的开放存取数据库中,必须确保有足够的信息供其他研究者复现所有报告的方法。三是预注册徽章:要求提供访问预注册研究计划的URL、DOI或其他永久路径,数据分析计划必须在分析数据或观察结果之前预先注册,并且应该详细说明是否变更了原本的预注册分析计划。
Schneide等人研究了开放科学徽章是否能影响学生、科学家和公众对科学家的信任。他们进行了三项实验研究,实验对象分别为大学生(270人)、科学家(250人)和公众(257人)。参与者被随机分配到三种场景之一:授予开放科学徽章(表明遵守开放科学实践),未授予开放科学徽章(表明未遵守开放科学实践)和开放科学无徽章(对照组)。研究发现,除了公众样本不显著外,徽章对信任的影响与预期一致,即开放科学徽章是增强科学论文目标受众对科学家信任的有效手段。[11]这表明,开放科学徽章标示出研究遵循了开放科学实践,有助于提高目标受众对科学家的信任。因此,徽章作为一种可视化、直接突出的标志,有助于强化科学的透明度和可信度,提升公众对学术研究的信任度和接受度。虽然研究并未发现开放科学徽章在公众样本中具有显著的效果,但它在学术界和教育领域的正面影响不容忽视。在科学传播和教育中,应更多地采用和强调开放科学实践,以提升科学研究的整体信誉和接受度。
鼓励复制性研究
复制性研究的类型。Dienlin等人归纳了三种复制性研究。[12]第一种是直接复制(DirectReplications)。研究者使用与原始研究相同的操作定义和数据分析方法重新进行研究,这种复制的目的是确保原始研究的结果是可重复的,即在相同的条件下,其他研究者可以得到相同的结果。第二种是近似复制(CloseReplications)。研究者虽然保持了原始研究的主要特征,但在某些方面进行了调整。例如,可能会更新刺激材料或稍微改变研究条件,以测试研究结果在略有不同的条件下是否依然成立。第三种是概念复制(ConceptualReplications)。研究者可能会重新进行部分研究或使用不同的操作定义,这种复制的目的是测试原始研究的概念或理论假设是否在不同的方法或条件下依然有效。同时,Dienlin等人也强调,内部复制(InternalReplications),即研究者复制自己的工作,并不一定能确保其他人也能独立地复制自己的研究。鉴于科学方法的要求和自我纠错的必要性,复制其他研究者的研究仍是非常必要的。
借鉴透明度和开放性促进指南
试点开放式同行评审
总体而言,开放式同行评审提高了评审过程的透明度、加速了科研成果的发布,增加了学术对话,但它也带来了新的挑战,如评审质量的保证、潜在的偏见以及对审稿人身份的保护问题,这也需要研究者具备更大的责任感,维护学术出版的质量和信誉。随着学术界对这种模式的探索和发展,未来为了解决开放性同行评审所面临的挑战,传播学可以强化开放性同行评审的控制机制和质量评估,制定严格的指导方针,如关于语气、表达和尊重的指导,在提出论点、矛盾思想或批评的同时,不侵犯个人权利。此外,加强对开放性同行评审的教育培训,教授撰写评审报告的必要技能,以及如何在保持批判性立场的同时,对研究数据和结果提出建设性意见。
(本文系全域认知与国际传播安徽省哲学社会科学重点实验室项目和安徽高校协同创新项目的研究成果;项目编号分别为:QYRZ202304、GXXT-2022-091。深圳大学传播学院助理教授张如坤对本文亦有贡献)
注释
[1]徐敬宏、张如坤:《迈向开放科学的传播学:机遇、挑战与未来》,《编辑之友》,2020年第12期。
[2]B.A.Nosek;C.R.Ebersole;A.C.Dehavenetal.,"ThePreregistrationRevolution,"ProceedingsoftheNationalAcademyofSciences,2018,115(11).
[5]T.Sch?fer;M.A.Schwarz,"TheMeaningfulnessofEffectSizesinPsychologicalResearch:DifferencesbetweenSub-disciplinesandtheImpactofPotentialBiases,"FrontiersinPsychology,2019,10.
[6]O.Klein;T.E.Hardwicke;F.Austetal.,"APracticalGuideforTransparencyinPsychologicalScience,"Collabra:Psychology,2018,4(1).
[7]M.D.Wilkinson;M.Dumontier;I.J.Aalbersbergetal.,"TheFAIRGuidingPrinciplesforScientificDataManagementandStewardship,"ScientificData,2016,3(1).
[8]Wiley-Blackwell,"WileyOpenScienceBadges,"PhotogrammetricRecord,2022,37(177).
[11]J.Schneider;T.Rosman;A.Kelavaetal.,"DoOpenScienceBadgesIncreaseTrustinScientistsamongUndergraduates,Scientists,andthePublic"PsychologicalScience,2021,33(9).
[12]T.Dienlin;N.Johannes;N.D.Bowmanetal.,"AnAgendaforOpenScienceinCommunication,"JournalofCommunication,2021,71(1).
[13]B.A.Nosek;G.Alter;G.C.Banksetal.,"Promotinganopenresearchculture,"Science,2015,348(6242).
责编∕韩拓美编∕周群英
TheApplicationStatusofOpenScienceandItsReferentialSignificance
toCommunicationStudiesinChina
XuJinghong
Abstract:Opensciencehasbecomeanimportantmeanstoimprovethequalityofcommunicationstudies.Since2015,theWesthasbeguntoexploremultiplepracticepathsofopenscienceinthefieldofcommunicationstudies,andhasmaderemarkableprogressafternearlyadecadeofdevelopment.Meanwhile,Chinaisstillinitsinfancyintheapplicationofopenscienceandlacksmatureexperienceandsystems.ByanalyzinghowWesterncommunicationstudiesusepre-registrationresearch,shareresearchmaterialsandmethods,implementopensciencebadges,encouragereplicationresearchandpromotetransparencyandopennessguidelines,etc.,itisexpectedtoenhancethetransparencyandreplicationresearch,improvethepublic'strustinscientificresearch,provideimportantreferencesfortheinnovativepracticeofopenscienceincommunicationstudies,andpromotehigh-qualityresearchandapplicationofcommunicationinChina.
Keywords:openscience,opencommunication,transparencyofresearch,replicationresearch