2010年以来,科学研究中的“问题研究行为”(questionable research practice,QRP)
2010年12月,美国白宫科技政策办公室发布科研诚信联邦政策,要求联邦所属机构制定内部的科研诚信制度,构建科研诚信体系化的制度环境。奥巴马任美国总统后,要求政府所属机构构建透明、诚信的制度。这一政策推动了美国科研诚信建设的重心从遏制科研不端行为转变为科研诚信建设。相应地,有关问题研究行为的文献也迅速增加。以往美国科研诚信建设聚焦科研不端行为,包括科研不端行为的惩处、预防和遏制。随着美国科研诚信建设目标转变为确保科研诚信,控制问题研究行为的意义被更加广泛地认识到:有助于改善科研质量,塑造良好科研环境,改善科研诚信,确保负责任研究行为。
纵观我国近年来科研诚信理论和实践研究,对科研不端行为的关注占据压倒性地位,关于问题研究行为的却较少见。2007年,曹南燕参照斯丹尼克的定义,评介美国关于问题研究行为研究,指出问题研究行为“QRP是指,介于负责任的科学研究行为与研究中的不端行为之间的灰色领域。”[2]当前,我国科研诚信研究已经开始重视问题研究行为。2023年,孙昌璞等发表《用科学精神抵御学术滑向灰色地带》[3]一文,指出了34种灰色地带行为,提出遏制灰色地带须兼顾“硬规章制度管制”和“科学精神的软约束”。本文试图在此基础上,结合美国近年来遏制问题研究行为的认知和制度转变,着重说明控制问题研究行为既需要“科学精神的软约束”,更需要“硬规章制度管制”,并进一步讨论未来我国科学研究体制所需的改变。
一、性质判断:问题研究行为可能更具破坏性针对孙昌璞在文中指出的34种问题研究行为表现形式,以及其对科学精神和科研诚信建设的严重危害性,笔者进一步指出,美国科学界近年来关于问题研究行为的认知显示,问题研究行为的性质较之孙昌璞等人所指出的更加严重,它有可能比科研不端行为更具破坏性。这是关于问题研究行为性质的新判断。这一判断初看起来似乎荒诞不经,因为科研不端行为属于人人喊打、触碰科学研究底线的严重违背科研规范行为,而问题研究行为不过是对科研规范的一般性违背。如何能够断言问题研究行为可能比科研不端行为更具破坏性?这是否是小题大做、哗众取宠?美国科学界经过大量研究后认识到,需要突破关于问题研究行为的传统认知,梳理对问题研究行为性质的新认知。
第一,问题研究行为可能比科研不端行为更具破坏性。这是21世纪第一个十年才出现的新观点。在20世纪八九十年代,科研不端行为几乎是科研诚信的唯一主题。科研不端行为典型案例迅速引发媒体和社会公众关注而成为焦点,比如著名的巴尔的摩案、盖洛案、贝尔实验室舍恩案等。那时科学界认为问题研究行为危害性没有科研不端行为那么严重,问题研究行为处于科研不端行为与科研规范行为之间的灰色地带——既不属于科研不端行为,也不属于好的科研行为,问题研究行为的严重程度远不及科研不端行为。进入21世纪后,有关问题研究行为的定量社会学研究显示,鉴于问题研究行为发生频率极高,其总体危害性相当大,甚至有可能比科研不端行为更具破坏性。斯丹尼克在2007年的世界科研诚信大会上指出,“伪造、篡改、剽窃的发生率为0.1%-1%;QRP的发生率为10%-50%;符合科研诚信高标准的研究的发生率为0.1%-1%。”[4]
2010年以来,问题研究行为的危害性受到了广泛的关注。问题研究行为从其性质上看,没有像科研不端行为那样直接损害科学论文的真实性,个体行为的恶劣程度和社会消极影响也不及个体的科研不端行为;然而从总体上看,问题研究行为有可能偏离正确的科学结论,误导研究人员进行重复性的研究实验,降低科学研究的质量,损害科学的可信度,腐蚀科研人员关于科研诚信的信心。从数量上看,问题研究行为总量巨大,比科研不端行为的发生频率高得多。任何一个小的问题研究行为的发生频率如此之高,其总体破坏性是相当惊人的。2009年,法内利·范内尔·丹尼尔(Fanelli Daniel)等学者的定量研究显示,2%-23%的科研人员承认他们很可能有问题研究行为。他认为,基于问题研究行为数量之大,问题研究行为实际上可能比科研不端行为更具破坏性[5]。
科研不端行为多属于个体行为,问题研究行为则有可能是集体行为。2012年,莱斯利·约翰(Leslie K. John)等学者基于2000多位心理学家的样本来研究问题研究行为。他们在先前小样本的实证研究中发现,问题研究行为的比例惊人。随后,他们采用了三种不同的评估方式,结果显示,仍然确信存在问题研究行为的研究人员比例惊人,一些有问题的研究行为可能构成了他们当时的研究规范[6]。2016年,克劳斯·菲德勒(Klaus Fiedler)等学者认为,莱斯利·约翰的研究可能夸大了问题研究行为的严重性,他们新添加了流行率估计的选项,开展了针对德国心理学会1138名成员的调查。结果显示,47%的受访者承认至少曾经声称过预测到意想不到的结果,而相应的流行率估计只有10%;22%的受访者承认至少对p值取整一次,而相应的流行率估计仅为3.9%。克劳斯·费德勒的研究也显示,问题研究行为是最常见的行为[7]。从社会学的角度来看,违反科学研究规范的行为属于越轨行为,普遍化的越轨行为有可能变成新的规范,而问题研究行为一旦变成研究规范,便可能成为一个新的重大挑战。
第二,问题研究行为导致了逐底竞争(race to the bottom),从而损害道德秩序的建立。逐底竞争的本意是指在国际政治经济学领域,全球化时代的资本流动一定会涌向具有最高回报率的地区。比如,发展中国家的政府为了保持最高回报率,会降低或者限制福利体系、环境标准和劳工保障政策的执行,如竞相削减工资水平和福利待遇,从而吸引跨国企业到本国投资建厂。类似地,科研领域的逐底竞争是指科研人员只有获得最高回报率才能获得发展甚至才能生存,就会强调最高回报(职务晋升、各种奖励体系和社会承认、学校和科研机构排名等)。这样的压力使得科研人员不惜降低道德水平,挑战严格的道德规范。
莱斯利·约翰所谓的以问题研究行为构成新的规范,是指科学研究领域会出现明规则和潜规则两套系统,一套是不要违反任何科学规范的道德行为规范系统,另外一套是不遵守科学规范的问题研究行为的潜规则。如果潜规则占据了优势,将极有可能在科学研究竞争中出现劣币驱逐良币的结果。莱斯利·约翰认为,一旦承认问题研究行为本身构成一种规范,问题研究行为就会成为科学竞赛中的激素,导致了无序的科学竞赛[6]。于此同理,在竞技运动中,那些为提高竞技能力而使用暂时性改变身体条件和精神状态的药物和技术,严重危害运动员身体健康,也破坏了运动竞赛的公平原则,损害了奥林匹克精神。但是,莱斯利·约翰的论述也有不够周全之处。根据现有国际规则,运动员使用激素(兴奋剂)是一种严重的违禁行为,必须受到严厉的处罚,甚至包括终身不得参加比赛。这一规则的制定和实施遏制了体育界的逐底竞争,但是在当前的科研管理中,科研人员的问题研究行为(科研领域的激素)却并没有受到严厉的处罚。
问题研究行为可能构成逐底竞争的群体规范,这进一步凸显了问题研究行为的破坏性。这种持续性的不良影响还会传递给下一代科研人员。那么,怎样才能使问题研究行为受到恰当的处罚?如果承认问题研究行为的潜规则会导致逐底竞争的消极后果,那么怎样的机制才能消除它们?在这些集体性行为的背景下,道德秩序和道德底线如何才能具有操作意义?
二、p值“蛹效应”问题研究行为从防患于未然的视角看,控制问题研究行为比控制科研不端行为更有现实意义。科研不端行为是极少见的违反科学规范的方式,可以更多地将之归于个体的道德败坏。这一归因模式也使得其很难被直接控制,而只能诉诸于科研诚信教育、严厉惩治体系等的间接控制。相比之下,问题研究行为是每一个人都有可能犯下的错误,甚至有可能是集体性错误,是更为常见的违反科学规范的形式。这一特征提供了直接控制的可操作性。具体来说,科研不端行为的控制很少有可直接控制的变量。问题研究行为的控制则既有一些无法把握的因素,也有一些可以控制的因素。如果我们能够控制这些变量,实现从结果惩罚到过程控制,那么问题研究行为控制就具有可操作性,从而减少从问题研究行为滑向科研不端行为的几率。
2017年,欧内斯特·奥博伊尔(Ernest H. O’Boyle)等学者指出,问题研究行为类似于破蛹成蝶的“蛹效应”(the chrysalis effect)[8]。数据的美化和修饰是为了迎合编辑口味,以及追求轰动性的科研结论,但是它偏离了数据引导科学研究的初衷,变成了数据印证作者假设。科学统计分析中经常使用的p值(probability value)已经成为问题研究行为控制研究的焦点。p值通常应用于检验假设,通过计算检验统计量大于或等于实际观测值的概率,避免偶然的样本影响,有助于确立假设的真实性。在统计学上:
(1)如果p<0.01,说明是较强的判定结果,拒绝原假定的参数取值;
(2)如果0.01<p<0.05,说明是较弱的判定结果,拒绝原假定的参数取值,通过了显著性检验;
(3)如果P>0.05,说明结果更倾向于接受原假定的参数取值。
假如一个科研人员遇到其假设的p值是0.054,属于第三种情形,倾向于否定他的新假设,那么他如实按照这个p值撰写科学论文,一般来说很难获得高水平杂志的录用。马希坎波(E. J. Masicampo)等学者的研究显示,三本顶级心理学杂志的p值是相似的,都要低于0.05,比其他层级的心理学杂志要低得多[9]。乔治·班克斯(George C. Banks)等学者比较了10本高影响因子刊物和10本低影响因子刊物,发现高影响因子刊物更可能有选择地报告研究结果。越是高级别期刊,越有可能存在p值偏见,这样的偏见很可能直接影响科研人员的现实选择[10]。
相当数量的科研人员开始了科学修饰,采取各种形式努力使p值低于0.05,最简单的办法是“四舍五入”,将p值四舍五入成为0.05,从而避免了第三种情形,基本符合发表论文的p值要求。除此之外,欧内斯特等学者列出了多达5种的修饰手段,将其称为“蛹效应”,即类似从茧蛹蜕变为漂亮的蝴蝶[8]。蛹效应背离了科学研究的本质——实验结果本来是为了检验假设,很可能出现一些未曾预料的实验结果不是特别吻合最初的假设,比如p值略大于0.05,最终的结果应该用以检验最初的假设,既有可能成功,也有可能失败。但是现在变成了“成功”的可能性占据上风——通过修饰实验结果,努力使结果符合最初假设。
蛹效应属于问题研究行为,不属于科研不端行为。如前所述,科研不端行为较少发生在数据统计环节,且伪造数据等科研不端行为大多是个体行为。与此对照的是,蛹效应的高频率很有可能是科研领域的系统性问题。相对于极其严格的科学实验程序,数据统计方法极其多样,统计分析者有权利选择最有利于自己的统计方法。这或许可以归于个人偏见,不能被判定为科研不端行为。蛹效应包括修改数据的范围和修改相关假设两类,使p值低于0.05,有利于论文发表。
先看第一类修改数据范围的蛹效应。最常见的情形是假设检验后,当假设不支持统计显著性,科研人员根据需要删除或添加数据,特别是当假设接近显著性阈值时,科研人员更有可能增加或减少样本以增加统计效力。比如,实验是500个样本,p值略超过0.05;现在可以调整样本数量,很可能增加到800,也有可能减少到300。样本量调整之后,很有可能降低p值。这一策略既没有伪造数据,也没有编造任何实验数据,数据的统计方法都是遵循着科学程序进行的。唯一不足的是,隐瞒了500个样本时p值不支持统计显著性。这种蛹效应没有伪造数据,它通过调整统计方法,使得原始数据更符合科研人员本来的设想。或许有学者认为,这种尝试并没有错误,应当是合理的,但是它违背了数据及数据分析的完整性和透明性的要求。第二类修改数据范围是改变相关项目,比如放弃某一类数据,或者将连续变量的结果分类,从而降低P值。科研人员费尽心机选择原始数据的样本、分类和取舍范围,使得数据丧失本身的独立性,实验成为科研人员主观观念的依附。
蛹效应的另外一种形式是改变相应的假设,包括删除或添加变量、丢弃或添加假设、重构假设或颠倒方向。这些做法承认了数据的真实性,但是通过修改假设或控制变量,改变了数据与假设的逻辑关系。显然,这是假设驱动实验的解释,而不是数据本身驱动实验的解释,最终使得数据能够支持预先的假设。
针对p值“蛹效应”问题研究行为,与其控制科研不端行为的发生环境,不如控制问题研究行为的发生环境。2019年,瑞士统计学家瓦伦丁·安海因(Valentin Amrhein)、美国统计学家桑德·格陵兰(Sander Greenland)和布莱克•麦克沙恩(Blake McShane)联名800位科研人员,号召放弃追求“统计学意义”,并且停止用统计学中常见的P值作为判断标准。2019年3月20日,英国《自然》杂志引用他们签名公开信的醒目标题刊发评论《科研人员们起来反对统计显著性》[11]。从逻辑上来看,统计上不显著的结果不能证明它们之间必定是不相关的;反过来,统计显著的结果也不必定是相关的。过于看重p值,很可能扭曲了研究的真相。
2016年3月7日,美国统计协会(American Statistical Association,ASA)发布了关于统计意义和p值的声明,提出了6条使用和解释p值的准则[12]。其中准则2提出,p值并不能衡量某条假设为真的概率,或是数据仅由随机因素产生的概率。这表明p值只能说明数据与假设之间的关系,但不能解释假设本身。这条准则说明了p值本身使用的有限范围。准则4提出,合理的推断过程需要完整的报告和透明度。这条准则要求统计分析完整报告,而不是只报告p值最小的那一项。声明建议,科研人员应给出研究过程中检验过的假设的数量、所有使用过的方法和相应的p值等。
降低p值的要求,或取消p值的惟一标准,代表着统计学的新近发展趋势,有助于控制过于追求p值的倾向。当面临着生存压力,高级别论文又是“成功”敲门砖的时候,科研人员很可能聚焦于数据分析的所谓技巧和诀窍,迎合高影响因子刊物编辑的口味,从而偏离了求真的初心。值得注意的是,这一认知并非否定统计显著性的存在,或是禁用p值,而是否定把p值作为判断的惟一标准。一项成功的研究最后步骤是推论统计,p值的应用是选择接受或拒绝所感兴趣假设的重要方法,它有效应用在于排除哪些实验值,以及如何合并和比较实验条件等。p值绝对标准化及所形成的蛹效应,使得统计学家反思p值绝对化的弊端,开始尝试更加多元和包容的新的可能路经。
三、控制问题研究行为与科学机制更广泛的变革遏制问题研究行为的目标是建立恰当的自我约束机制,这涉及到构建科研生态的整体科学转变。最典型的科学机制变革是预注册制度的实施。2013年,布莱恩·诺赛克(Brian Nosek A)和杰弗里·施皮斯(Jeffrey Spies)等学者建立起开放科学中心(Center for Open Science)网站(https://osf.io/),提供免费服务。预注册制度包括两个上传数据步骤:其一,要求在实验之前注册实验方案、统计方法、使用仪器等各类信息,即科研人员提前上传实验目的和详细的实验计划以及小型实验数据;其二,要求在实验之后上传实验数据、统计方法等信息,改变过去无须提供数据或仅仅提供某些实验结论数据的做法,建构从科研到论文发表的全数据链。
目前,预注册制度已经成为277本科技期刊发表论文的必要条件,这一数量还在不断增加。预注册制度有助于实现科研过程的透明化,帮助揭示各类实验偏见,并提供实验乃至偏见均可重复性的数据基础。[13]预注册制度和开放科学中心将事后撰写论文变成事先有实验计划、上传注册到网站。这一步骤限制着科研人员必须遵循原有的研究计划,而不是在假设检验后重新修改数据或修改假设。从实施预注册制度的反响来看,很多科研人员惊讶于他们的结果与预期之间的巨大偏差。类似的制度措施也出现在医学领域的临床实验——科研人员在临床实验前必须在美国食品药品监督管理局进行注册。这一具有法律强制性的临床实验预注册可以避免科研人员有意识或无意识地在临床试验中去掉阴性结果,使得科研人员严格依据实验数据报告实验结论。
预注册的新制度和新理念带动着越来越多的科技期刊要求科研过程的透明化,公开所有实验数据及其分析,从而减少问题研究行为。克拉斯·西特斯马(KlaasSijtsma)建议,“研究人员必须公开他们的数据,并有一位方法论者或统计学家参与他们的研究。我期望这些措施可以影响透明度,改善结果的准确性,并减少问题研究行为。”[14]诺塞克等学者建议,期刊应当重视:“①引用标准;②数据的透明性;③分析方法的透明性;④研究材料的透明性;⑤设计和分析的透明性;⑥预先登记的研究;⑦预先登记的分析方法;⑧反响。”[15]
尽管数据公开可能使得自己的某些秘密为他人所知而利益受损,比如公开实验数据后,有可能他人不再需要向自己提出要求便可以直接使用公开的数据。但是,全部实验数据上传到公开的网站,可以避免本人修改原始数据,这已经越来越成为当前科学发展的趋势。美国统计协会已经明确鼓励作者在可能的情形下提交数据,在最初的手稿提交时,必须同时包括完整的数据和代码,做到论文发表与数据提交同步。期刊编辑可以要求论文作者提交数据,作者可以加密数据,只有期刊编辑有权限阅览数据。作者一旦提交数据后,本人也没有权利修改上述数据。这是通过制度的方式预防问题研究行为。
丹尼尔指出,遏制问题研究行为需要有系统的结构性改变。“如果我们想要改善我们的科学文化功能,我们不仅必须考虑我们希望改变的个体行为,而且还要考虑为这些行为改变提供激励的社会动力。……在缺乏补偿动力的奖励出版数量的激励结构下,自然选择出的方法是产生最大数量可出版的结果。反过来,这导致糟糕方法的自然选择,增加了错误发现比率。”[16]2015年,弗朗索瓦•布里舒(François Brischoux)和弗雷德里克•安吉利尔(Frédéric Angelier)的研究显示,从2005年到2013年,法国国家科研中心(Centre national de la recherche scientifique,CNRS)雇用的低级别进化生物学家被录用时的平均论文发表数量在过去十年里几乎增长了一倍——从2005年平均12.5篇到2013年平均22篇[17]。过去纯粹的象牙塔式科研环境已经发生了剧变。在日益增加的竞争压力下,问题研究行为变得越来越突出,如科研人员为增加发表物的数量而拆分发表,为了争夺科研资源而动用人情关系,为了取得更理想的结果而偷工减料和操纵数据以等。
鉴于问题研究行为很有可能构成潜规则,诸如令行禁止的道德说教,明令作者放弃问题研究行为,并不能根除问题研究行为。2017年,欧内斯特和班克斯等学者的调查显示“有25%的科研人员认为,编辑/审稿人鼓励他们美化结果,而这些行为在作者看来是根本不正确的。评论家大都认为,这些研究结果的美化主要是为了体现科学性和关联性”[8]。2005年,乔丹·科恩(Jordan Cohen)在美国医学院协会的会长致词中指出,“要记住,没有措施(measurement),就没有改变。因此,我希望你们能够仔细研究你们学习的环境,你们隐藏的课程,你们机构工作的文化规范。尽量地将你们的所见找到措施和文件,使用那些数据去报告你希望的变化,改变犬儒主义的熔炉,发现职业主义的摇篮”[18]。乔丹所说的职业主义的态度是用操作性措施进行控制,这是一个值得重视的问题。美国伊利诺伊理工大学专业伦理研究中心的网络数据库有66个科学和工程组织的行为守则。美国电气和电子工程师协会(Institute of Electrical and Electronic Engineers,IEEE)伦理委员会前主席斯蒂芬·昂格尔(Stephen H. Unger)博士认为,集体行为准则强调专业职责,创造一个道德行为规范的环境。此外,行为规范作为教育工具,教导学生什么样的行为在道德上是被可以接受的[5]。道德行为规范应当成为科研人员面临伦理困境时的指南,它需要具有可操作性,才能真正引导学生明晰什么样的行为在道德上是可以被接受的。
四、启 示2010年以来,美国科研诚信建设开始特别关注控制问题研究行为,建设焦点从遏制科研不端行为转到促进科研诚信。这一转变及其背后的理念,值得我国科研诚信建设借鉴。
第一,应当认识到问题研究行为的严重性和危害性。问题研究行为很可能成为新时期我国科研诚信建设的突出问题,甚至可能比科研不端行为更具破坏性。我国科学界面临着世界科技强国建设的更大竞争压力,这种竞争压力也相应地传导到我国科学界。在这种情况下,我们更应该关注问题研究行为,避免逐底竞争损害科学研究事业。
第二,科研诚信建设应当以问题研究行为突破口实施全域科研生态建设。问题研究行为的治理较之科研不端行为的治理更具有可操作性,比如,可放弃p值作为惟一标准,或降低p值的要求。借鉴美国统计学会关于正确使用和解释p值的准则,可以研究开启控制“蛹效应”的科技期刊变革,优化科研诚信建设的结构,更新和转变科研诚信建设的理念,比如,将科研诚信建设的聚焦重心应当从惩戒科研不端行为转向促进科研诚信体系建设。
第三,制度性地鼓励科技期刊采用预注册制度。要求科技期刊论文发表时同步上传科研数据,公开所有实验数据及数据分析,形成一场新科研体制的转变。体制改革知难行更难,但是,基于对问题研究行为的严重程度的认知,借鉴美国遏制问题研究行为的主要措施和制度建设经验,我国科学界应当前瞻性地展开科学机制的结构性变革,推动形成构建科技创新新生态。
①
[1] |
Nicholas H. Steneck. Fostering Integrity in Research: Definitions, Current Knowledge, and Future Directions.
Science and Engineering Ethics, 2006, 1(12): 59.
|
[2] |
曹南燕. QRP: 科学研究中的灰色领域——小恶不止, 大祸立至.
河池学院学报, 2007(3): 1-4.
|
[3] |
王鑫, 张慧琴, 孙昌璞. 用科学精神抵御学术滑向灰色地带.
科学与社会, 2023(1): 1-15.
|
[4] |
曹南燕, 邱仁宗. 促进负责任的研究——记首次世界科研诚信大会.
自然辩证法研究, 2008(5): 108-111.
DOI: 10.19484/j.cnki.1000-8934.2008.05.023. |
[5] |
Daniel Fanelli. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-analysis of Survey Data.
Plos One, 2009, (4): 38-40.
|
[6] |
Leslie K. John, George Loewenstein, DrazelPrelec.
Measuring the Prevalence of Questionable Research Practices with Incentives for Truth Telling. Psychological Science, 2012, 23: 524-532.
|
[7] |
Klaus Fiedler, Norbert Schwarz. Questionable Research Practices Revisited.
Social Psychological and Personality Science, 2016, 7(1): 45-52.
DOI: 10.1177/1948550615612150. |
[8] |
Ernest H. O’Boyle, George C. Banks, E. Gonzalezmulé. The Chrysalis Effect: How Ugly Initial Results Metamorphosize into Beautiful Articles.
Journal of Management, 2017, 43(2): 376-399.
|
[9] |
E. J. Masicampo, Daniel R. Lalande. A Peculiar Preference of p Values just below 05.
The Quarterly Journal of Experimental Psychology, 2012, 65: 2271-2279.
|
[10] |
George C. Banks, Ernest H. O’Boyle, Jr, Jeffrey M. Pollack. Questions about Questionable Research Practices in the Field of Management.
Journal of Management, 2016, 42(1): 14.
|
[11] |
AmrheinValentin, Greenland Sander, McShane Blake. Scientists Rise up against Statistical Significance.
Nature, 2019, 567(7748): 305-307.
DOI: 10.1038/d41586-019-00857-9. |
[12] |
郝丽. P值及其使用准则: 来自美国统计协会的建议.
中国统计, 2016(10): 41-43.
|
[13] |
王阳, 肖昆. 论控制偏见的编辑制度革命——关于预注册遏制可重复性危机的机理研究.
科学学研究, 2022(4): 594-601.
|
[14] |
Klaas Sijtsma. Playing with Data—Or How to Discourage Questionable Research Practices and Stimulate Researchers to do Things Right.
Psychometrika, 2016, 81(1): 1-15.
DOI: 10.1007/s11336-015-9446-0. |
[15] |
Brian. A. Nosek, George. Alter, George C. Banks, et al. Promoting an Open Research Culture: AuthorGuidelines for Journals to Promote Transparency, Openness, and Reproducibility.
Science, 2015, 348: 1422-1425.
|
[16] |
Paul E. Smaldino, Richard. McElreath. The Natural Selection of Bad Science.
Royal Society Open Science, 2016, (3): 13.
|
[17] |
François Brischoux, Frédéric Angelier. Academia’s Never-ending Selection for Productivity.
Scientometrics, 2015, 103: 333-336.
DOI: 10.1007/s11192-015-1534-5. |
[18] |
Jordan Cohen. Ideal and Ideals: The Annual Meeting Addresses of AAMC President Jordan J. Cohen, M. D. https://members.aamc.org/eweb/upload/Ideas-Ideals3.pdf. [2023-12-14].
|