为什么说要该当个“存疑精神”的科学家

为什么说要该当个“存疑精神”的科学家

【本文经 Tim van der Zee 许可改编,原文发表在他的博客上。】

不要误解我的话,但身为科学家必须要有“存疑精神”。

不要满足于困难问题的简单答案

不要轻信表面看起来正确的信息

也不要轻易相信你读到的研究中所得出的结论,因为它看起来好像是对的

Geoff Norman 说:我人生中的某些黑暗时刻,我可以说服我自己教育的所有主张是——

(a) 源自没有证据的来源(成人学习理论)

(b) 尽管有相反证据依然坚持自我(学习方式、自我检测技巧)或是

(c) 超过既存证据的支持范围

科研文献总是有偏见的。阳性结果大量发表,而阴性或无效研究结果在角落生灰尘1,2,这种偏见从什么论文被投出去到什么论文被发表等许多层级都存在3,4。换句话说,这诱使科研人员(有意或无意地)提出有问题的研究方法,例如做了很多统计检验,但只报告“成功”的那几个,这也称作 p 值操纵 (p-hacking)5。还有,科研人员经常对自己的研究结果提供带偏见的阐释6,例如,有将近 28% 的引用都是错的或是有误导性,这些通常都不会被发现,因为大部分的读者都不会检查参考文献7

当然不止这样,需要事先注册 protocol 的研究,如临床试验,通常都是源自没有报告结果或私自添加新结果的 protocol8,这些改变都有迹可循,但通常都偏向报告正面影响,隐藏负面影响9。不是只有临床试验这样,一般的已发表论文也经常含有不正确报告的统计,其中有 35% 是会直接影响结论的严重错误10,11,12。来自有产业介入的作者的 meta 分析大量被发表,但却没有报告注意事项13。而且,如果原来的研究本身质量不高,meta 分析并没有神奇的方法改变这件事(也就是garbage in, garbage out 理论)。这些研究素质低下的其中一个原因是缺乏对照组,或是更误导人的:不适当的对照组,有可能错误地带出安慰剂效应和其他已经被排除的解释14。要注意,这些问题不仅限于定量研究或(半)实证主义范式,从更自然的角度来看,与定性研究一样有关。

每个人都会说谎

问题还可以继续列举,但重点已经出来了:每个人都会说谎。在现有的体系中,说谎和误导不是那么单纯,是被诱发的。这有一部分可能是因为强烈偏好阳性发现的美好愿望的发表体系。除了发表体系中存在的这些诱因外,研究人员当然也是关键,不过,比较诡异的地方在于这也有部分存在许多领域,尤其是那些没有“技术证明”的,举例来说,如果你声称可以改善智能手机,你可以直接去做。但像心理学领域就不太可能直接实现。变数通常都是潜在的,不能直接观察到。衡量也都是间接的,即便有测出结果通常也没有办法证明它们实际上衡量了什么。

不好的诱因并不会一夜消失,人们通常抗拒改变。虽然有很多人在努力奋战,想要改善科学,但要看见成果,不是一条看不见尽头的路程,也会是一条漫漫长路。

现在呢?

这个观察是否太过愤世嫉俗?或许。但不管是不是,最重要的是我们都该小心。怀疑我们所读到的信息,甚至也要怀疑我们自己做的事、我们做的研究。

这或许是我开始写博客的主要原因:大部分的时候我都是错的。但我想要进步,随着时间过去错得少一些,而我们需要彼此才能做到,因为要愚弄一个人太过简单。

让我们都当个有“存疑精神”的科学家。

当我们变成更好的科学家。

 

参考资料

  1. Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic review of the empirical evidence of study publication bias and outcome reporting bias—an updated reviewPloS one8(7).
  2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawerScience345(6203), 1502-1505.
  3. Coursol, A., & Wagner, E. E. (1986). Effect of positive findings on submission and acceptance rates: A note on meta-analysis biasProfessional Psychology: Research and Practice, 17(2), 136-137
  4. Kerr, S., Tolliver, J., & Petree, D. (1977). Manuscript characteristics which influence acceptance for management and social science journalsAcademy of Management Journal20(1), 132-141.
  5. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in sciencePLoS Biol13(3).
  6. Brown, A. W., Brown, M. M. B., & Allison, D. B. (2013). Belief beyond the evidence: using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidenceThe American journal of clinical nutrition98(5), 1298-1308.
  7. Van der Zee, T. & Nonsense, B. S. (2016). It is easy to cite a random paper as support for anythingJournal of Misleading Citations33(2), 483-475.
  8. http://compare-trials.org/
  9. Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., & Platts-Mills, T. F. (2015). Comparison of registered and published outcomes in randomized controlled trials: a systematic reviewBMC medicine13(1), 1.
  10. Bakker, M., & Wicherts, J. M. (2011). The (mis) reporting of statistical results in psychology journalsBehavior Research Methods43(3), 666-678.
  11. Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2015). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior research methods, 1-22.
  12. Nonsense, B. S., & Van der Zee, T. (2015). The reported thirty-five percent is incorrect, it is approximately fifteen percentThe Journal of False Statistics33(2), 417-424.
  13. Ebrahim, S., Bance, S., Athale, A., Malachowski, C., & Ioannidis, J. P. (2015). Meta-analyses with industry involvement are massively published and report no caveats for antidepressantsJournal of clinical epidemiology.
  14. Boot, W. R., Simons, D. J., Stothart, C., & Stutts, C. (2013). The pervasive problem with placebos in psychology why active control groups are not sufficient to rule out placebo effectsPerspectives on Psychological Science8(4), 445-454.
  15. Collier, D., & Mahoney, J. (1996). Insights and pitfalls: Selection bias in qualitative researchWorld Politics49(01), 56-91.
  16. Golafshani, N. (2003). Understanding reliability and validity in qualitative researchThe qualitative report8(4), 597-606.
  17. Sandelowski, M. (1986). The problem of rigor in qualitative researchAdvances in nursing science8(3), 27-37.

期待学术生涯高歌猛进,发表过程一帆风顺?

来加入我们活力洋溢的在线社区吧。免费注册,无限阅览。

社交账号一键登入

已有54300名科研人员在此注册。

意得辑专家视点 Editage Insights 目前正在维护中。维护期间,部分站点功能,如登录、注册可能无法正常工作。

觉得有用?

如果是的话,和你的同事分享吧