心理学及研究对象的笔记（心理学的七宗罪）

说到开放科学open science，不得不提一本书：The 7 Deadly Sins of Psychology - A Manifesto for Reforming the Culture of Scientific Practice (by Chris Chambers).

Chris是致力于open science的心理学家，也是我为数不多尊敬的人之一。他写这本书是抱着失望而又置之死地而后生的革命精神。这本书狠狠的揭心理学研究的伤疤，细数了阻碍心理学发展的七宗罪，并倡议对此作出改变，改革我们现在做心理学研究的风格和方式。在书的一开始，Chris变引用了F. Scott Fitzgerald的一句话：

“One should be able to see the things are hopeless and yet be determined to make them otherwise.” （“我们要意识到事情糟糕得无可救药，但却同时有决心让其脱胎换骨。”）

接下来一周七日的头条文章里，我将陆续向你们呈现这七宗罪。这一次，第一罪：偏见 （Bias）

发表偏见（publication bias）：预知未来？！

要是给历史上最荒谬的研究，预知未来这个心理学实验应该可以排前三了。

2011年，Daryl Bem发表了一篇文章，声称人类可以预知未来。

同时，joy（开心）这个词也可以prime出愉悦的情感反应。那么，当我们给被试展示joy，然后上图的时候，因为两者是和谐的，被试能够很快的给出对应的情感反应。但是，如果我们给被试展示murder（谋杀），再展示上图的时候，两者能够激发的情感是相反的，这种矛盾会导致被试更慢的给出对应于图片的情感反应。

而Daryl Bem把这种标准的priming范式反着来进行（reversed priming task）。他要求被试先给出情感反应，再向他们展示单词和图片。神奇的（荒谬的），Bem发现事后展示的primes可以影响事先给出的情感反应的时间。所谓的预知未来。

理所当然的，这篇文章发表之后惹来众议。当科学家们想要验证某个理论的时候，他们怎么做呢？

没错，replication！重复性实验！

Chris French & Stuart Ritchie便是很多实验室之一针对这个研究进行了重复性实验，根本没有发现可以证明人能预知未来的任何证据。然而，当他们把文章递交给发表了Bem的文章的期刊（Journal of Personality and Social Psychology）时，被拒绝了。

这便是心理学界（或者在其他领域也是）的其中一个偏见：publication bias （发表偏见）--- 期刊杂志偏好于发表显著，positive effect的研究，不喜欢接受不显著，null effect的研究；喜欢发表原创有意思的，证明已有理论的研究，不喜欢发表重复性实验研究。

这里需要强调的是，没有任何一个科学家反对科学需要原创需要创新需要挑战常规，但是要让科学稳步前进，使其有真正意义上的发展，我们必须对所有研究一视同仁。诚然，很多positive effect （例如能够“证明”人能预知未来）的文章非常创新非常sexy，但是它们很有可能是错误的。

发表偏见不仅让有可能反驳已验证理论的研究无见天之日，同时，在如此publish or perish的风气之下，也在变性的鼓励科学家们不去重复验证实验或理论，而一味追求性感的研究。

确认偏见（confirmation bias）：选择任务AD47

我们每天所谓的做科学，其实就是通过收集数据（Data）来检验（test）一个假设（Hypothesis）。当你做实验、收集数据的时候，心里想的是什么呢？“我在检验甚至尝试反驳（falsify）一个假设” 还是 “我在证明（confirm）一个假设”？数学上，我们可以表达为 P(data | ~hypothesis) vs P(data | hypothesis).

如果是后者，那么其实你心里已经有答案了。你已经主观上认为某个假设是否为真，true or false，某个效应是否存在，是否significant，或者是否p<0.05。而你做实验，只是在寻找能够支持你主观观点的证据而已。这会影响到数据收集，数据分析，进而影响实验结果和研究结论。即，确认偏见（confirmation bias）。

修昔底德说过：

“When a man finds a conclusion agreeable, he accepts it without argument, but when he finds it disagreeable, he will bring against it all the forces of logic and reason” （“当一个人认同一个结论的时候，他会无丝毫争议地接受。而当他不认同的时候，他会竭尽所力用逻辑和理性打到它”）

说到这里不得不提一个著名的实验。这个是第一个证明了确认偏见真实存在的实验：选择任务AD47。

Wason告诉被试，现在有一个不变的定律，在一张有两面的卡片，一面是数字，另外一面是字母 （如上图是两张卡片的四面）。然后再告诉被试一个假设（记住，是假设），这个假设可以是真的也可以是假的：“如果一面是字母A，那么另外一面就是数字4”。最后，Wason问被试：“你想翻开哪些牌去检验这个假设？”被试需要做的就是翻开有信息价值的牌，而不去碰不能提供任何有用信息的牌。

你会选择哪张呢？

在两张字母牌中选择的话，很多人都会选择A，而避开D。这是正确的。因为我们需要的检验的假设是“A-4”。翻开A，看看背面是否是4。如果是，（目前来说）假设检验为正确。如果不是，假设检验为错误。但是如果翻开D的话，不过它的背面是什么数字，都是对于我们假设检验毫无贡献的。

接下来戏肉来了，在两张数字牌中选择的话，你会选择哪种呢？

思考完了么？你是不是选了4恭喜你，

你跟很多人选的是一样的，是错的。

正确的答案应该是翻开7，而不是4。

我们需要检验的假设是“A-4”。我们之前已经证明了A的背面是4，我们现在需要证明的是A的背面只能是4。如果我们翻开7，发现它的背面是A，那么我们检验假设为错误。而很多人选择4而不是7正正证明了很多人对待假设的态度是confirm而不是falsify。这种confirmation bias是我们在做科学的时候需要避免的。抱着证明假设而不是检验假设或者反驳假设的心态，会无法客观的找寻证据、收集数据。

在这两种偏见，确认偏见和发表偏见，再加上其他因素之间的相互作用，慢慢的，心理学被假阳性研究结果、被无科学意义的文章淹没。

by Chris Chambers

改革潮流：开放科学

不满意现状最好的方法就是改变现状。支持并实行开放科学，open science，就是最有效的方法。

而针对于发表偏见和确认偏见，Center for Open Science的registered report就是很好的解决方法。

Registered Reports -peer review before results are known to align scientific

values and practices。以下简称RR。

RR是一个具有改革意义的做科学的方式。

传统的方式是：我有一个idea ---> 我做实验，收集数据 ---> 我写paper ---> 我递交paper ---> peer review ---> 发表paper。

而RR提倡的方式是：我有一个idea ---> 我先把paper1 写好，这个paper1除了实验数据基本上什么都有了 ---> 我递交paper1 ---> peer review 1 ---> idea和paper 1被接受 ---> 按照paper 1中我说的方式，我做实验，收集数据，做数据分析，完成paper 1剩下的部分，变成paper 2，递交paper 2 ---> peer review 2。

这种方式之所以是有革命意义，是因为有两个阶段的peer review，而其中一个发生在收集数据之前。所以，peer review 1只能根据你的idea的价值对你的研究做出是否接受的决定，而不是你的数据是否显著，是否证明假设，或者是否p<0.05。最大可能的降低了发表偏见和确认偏见。只要通过了stage 1 peer review，科学家们需要做的就是根据自己写的paper 1收集数据，撰写论文。

这不仅是正确的做法，而且已经成为潮流趋向。

自从2013年，支持并参与RR的期刊已经到了70 。

自从2013年，实行RR而发表的论文已经达到近200。

作为Center for Open Science的大使，Sharon在最后必须喊一句，支持开放科学，站在历史正确的一边。

Sharon

写于2017年10月12日

,