控制、处理、重复:在不确定性中复制实验

控制、处理、重复:在不确定性中复制实验

究竟收益的歧义会如何影响合作和分配?对于任何与先前工作有关的发现,单有统计显著性就足以证明它的有效性吗?

Luigi Butera 和 John List 的论文 An Economic Approach to Alleviate the Crises of Confidence in Science: With An Application to the Public Goods Game 就讨论了第一个问题,通过重复四个公共财赛局的实验,提出吸引发表这类实验的方法,提供他们的稳健性。

有鉴于单一实验结果具有统计显著性有可能会产生误导,经济学领域经常宣导要复制实验,但现实中还是很少发生。科研作者表示缺乏原始实验诱因和预期的重复人员是造成这个双面性的原因,他们还说,复制实验的片面观点对研究可靠度是威胁而不是支持,这也是原因之一。

找出原因后,他们提出了补救措施:提供以诱因为基础的机制来鼓励复制实验。不随波逐流,他们将提议的机制付诸实践,将他们的论文以 working paper 的形式在线公开,承诺不会投稿任何期刊,并提供其他复制他们实验的学者在下一篇文章中共同署名的资格做为交换。

实验涉及文献中最多人研究过的领域:提供公共财,但谈到了比较少人研究的不确定性,虽然不确定性是确实存在经济学领域的,很少有研究将不确定性纳入关系人投资公共财的收益中,即便有纳入不确定性的研究,其中还是有确定性要素存在,例如大家所知道的不同收益的概率,偏离现实情况等。作者并没有透露参与者的投资人均报酬率,因此结合奈特氏不确定性 (Knightian uncertainty),使结果较为接近现实情况。

总之,论文连结的不是两端,而是两个落差:实验和重制。论文让读者进入尚未探索的世界,让他们会想进一步探索的世界。

贡献:防噪声?

实验设置是多回合的游戏,参与者分配私人或公开帐号,而玩家在返还贡献的时候会发出声音提示。作者发现在私人不确定下的合作比较高,特别是公共财质量处在未知情况下。合作会随着时间过去确定性越趋完成而瓦解,而不确定性高的下降幅度较大。他们透露,提示的向上偏差会提高贡献,而向下偏差则相反,并对这个有悖常理的结果感到惊讶,因为向下偏差通常是更具代表性的真实值。纳入不确定性会提高这两个方向误差的贡献,不确定性也会提高返还内与返还之间的贡献。

该研究纠正实验的设计审查群组和观察间的差异,也导出参与者对于自己扮演的角色感到困惑的可能性。这个结果值得注意,因为其中提供了考虑的各种情境的完整清单,还有避免潜在的障碍。

从上面开始拿

因为缺乏创新性,对重复者的反馈预期值较低,而实验人士的先行者风险试验失败,让重复意愿受阻,尽管大家都知道重要性。作者找出不同形式的重复,使用同样的数据集,或是用不同的方法处理同个问题,最后选择专注在采用同样的设计。

他们分享了 Maniadis 等人 (2014) 提出的贝叶斯方法来算出先行者重复工作失败和成功,分别说明障碍和经常被忽略的好处,然后列出他们通过呼吁重复人员来实现这些好处的步骤。

重复人员是否会呼应或反驳这个研究尚未克制,但作者确实打中能鼓励他们参与的核心。

结论

结果不确定性提高合作这个情况可能会引人注目,但这些厌恶坐享其成的人在失败时除了归咎不劳而获的人之外,现在又多了个地方可以究责,因此稍微缓解了他们的厌恶,鼓励他们的参与。因为很难预料确定性通过审查的框架,所以这个研究不像先前的研究,并没有避开不确定性,选择直面它,也因为如此,开启了更为真实的现实模拟。

该研究的实验结果有其真实性,他们提供了重复实验的人实际的诱因,来取代改善可靠度这种虚幻的动力。再怎么说,有人重复时间能帮助避免低估事实和高估谬误,还有更好的,让经济学家重复实验的实践也进行复制。

意得辑专家视点相关阅读:

期待学术生涯高歌猛进,发表过程一帆风顺?

来加入我们活力洋溢的在线社区吧。免费注册,无限阅览。

社交账号一键登入

已有54300名科研人员在此注册。

觉得有用?

如果是的话,和你的同事分享吧