在日常交流情景中，眼睛近视者经常会说这样一句话：“你说什么啊？我没戴眼镜，听不清。”这时大家便会调侃道：“那是什么啊？我没戴助听器，看不清。”人们之所以会调侃，是因为从传统观点来看，言语感知一直被认为是一种纯粹的听觉加工过程，与视觉线索无关。但近年来，越来越多的学者们对该观点提出了质疑。他们认为，言语感知是一种视—听双通道参与的活动，视—听双通道指的是视觉口型和听觉声音两个通道的信息。众所周知，当视—听双通道的信息相一致时，两个通道同时出现的信息比单独听觉通道所传递的信息更快更准确，即视觉口型所传递的言语信息有助于理解听觉言语并消除歧义。但是，当视—听双通道的信息相互矛盾时，即在视觉口型和听觉声音不匹配的情况下，便会出现经典的麦格克效应（McGurk Effect）现象。言语感知过程中麦格克效应的出现从科学角度证明，视觉信息不仅会影响言语感知，甚至会使言语感知的结果出现偏差。
麦格克效应的科学实验
20世纪70年代，英国萨里大学心理学家哈里·麦格克和约翰·麦克唐纳在《自然》杂志上发表了一篇题为《听见嘴唇，看到声音》（Hearing Lips and Seeing Voices）的论文。该研究的结果表明，听力正常的人在自然环境下的言语感知中也会受到视觉线索的影响。在该研究中，将剪辑后视听同步却不匹配的视频刺激呈献给被试，要求被试口头重复视频中模特所说的内容（即对听觉刺激进行复述）。意外的是，被试既没有体验到通道间信息的冲突也没有一种通道信息占据优势。研究结果发现，当呈现的听觉刺激为ba，视觉刺激（指视频中说话者的唇部动作）为ga时，98%的成人被试报告他们听到的是da，研究者将该反应定义为“融合反应”，即来自两种通道的信息被转换成新的元素，而新元素不同于任何一个通道刺激的反应；反之，当呈现的听觉刺激为ga，视觉刺激为ba时，大部分成人被试（54%）报告他们听到的是gabga或bagba，研究者将该反应定义为“组合反应”，即来自视觉和听觉通道的相对未修改元素的复合反应。而在没有冲突的视觉信息影响的条件下，被试对听觉信息的报告正确率高达99%。这种现象被研究者称为“麦格克效应”或“麦格克错觉”。近年来，越来越多的研究证据表明，这种听觉错觉现象并不仅局限于上述几种特定的视—听组合，在日常交流情景中也是一种司空见惯的现象，其本质是当视觉和听觉刺激同时出现但又彼此冲突时，人们对声音的识别出现感知偏差的现象。
麦格克效应受年龄差异、
文化背景等因素影响
对麦格克效应的研究至今已有40年历史，大量研究者也从不同的角度证明了麦格克现象普遍存在。但是，年龄差异、文化背景等会对麦格克效应的易感性产生影响。麦格克等研究者在西方文化背景下对视—听双通道言语感知能力的发展趋势进行了探讨。他们发现，与儿童相比，成人的听觉感知更容易被视觉输入所影响。即如果反应只由单一通道所主导，则儿童往往主要是听觉，成人是视觉。其他关于视—听言语感知能力的发展研究都普遍发现，从儿童到青年再到成年，视觉言语的作用逐渐增强。
目前，麦格克效应的研究大多是在西方语言背景下进行的，而关于东方语言背景下视—听言语感知的研究仅有为数不多的几项，且主要集中于汉语和日语母语者身上。美国亚利桑那大学的格林（Kerry P. Green）和加州大学的马萨罗（Dom W. Massaro）等人认为，相对于欧美人，中国人和日本人产生的麦格克效应较弱。究其原因，可能是汉语和日语母语者都认为看着别人的脸说话是不礼貌的行为，这样的交际礼仪导致他们在言语感知过程中很少关注和运用视觉通道的信息。除此之外，汉语本身的语言特点和英语存在差异性。汉语作为一门声调语言，主要是通过听觉通道的信息来分辨而不是依赖于视觉信息。这些因素可能导致东方文化背景下的人们既表现出视—听双通道言语加工的一般性，但又有自身独特之处。
发音方式—部位假说
是麦格克错觉现象最新的理论解释
麦格克效应表明，人的脑神经无法对较为接近的失匹配的视觉和听觉刺激线索进行探测，而是自动地将它们整合为另一种合理语音。那此错觉现象到底该作何解释呢？之前有关言语感知的研究文献提供了一些关于该现象加工过程的线索。早在1976年，康奈尔大学的卡廷教授（James E. Cutting）报告了两种相互冲突的听觉刺激的融合反应。他在一个双耳分听实验中观察到，当一只耳朵呈现刺激/ba /，另一只呈现刺激/ga /时，许多被试感知到的是处于中间水平的/da /。他用“声学平均假设”来解释他的实验结果，认为当ba和ga的相关声值平均后，结果值近似于da的声值。但该假设并不足以解释麦格克效应现象。首先，该假设需要被试把视觉输入转换成合适的声学形式，然后才能进行平均处理。其次，平均假设预测在唇部动作为ga、声音刺激为ba和唇部动作为ba、声音刺激为ga的组合条件下，会产生相同的反应；显然，我们的结果没有证明该预测。由此可见，“声学平均假设”并不能对言语感知过程中出现的麦格克效应现象提供科学解释。
麦格克等人基于该项研究结果尝试进行原因推测，提出了“共同特征说”。他们认为，ga和da的唇部动作存在相似性，还认为ba的声波波形与da的声波波形有一些共同特征。因此，在听觉刺激为ba、视觉刺激为ga的条件下，将会有ga和da的视觉信息，而听觉信息又具有ba和da的共同特征。通过对两种通道的共同信息作出反应，被试将会形成一个统一的感知da；出于同样的原因，人们认为在听觉刺激为ga、视觉刺激为ba的条件下，通道之间相互冲突，没有共同特征。而在没有一种通道占主导的情况下，被试就无法在两种信息来源之间作出决定，因此会在两者之间摇摆，听到gabga或bagba等等。然而，尽管这些推测解释了当前的研究发现，但仅仅停留在描述水平层面，没有任何预测效力。因此，麦克唐纳在前人研究基础之上，重新思考并建立了更具预测性的发音方式—部位假说（manner-place hypothesis）来解释在视听输入相互冲突时我们所观察到的麦格克效应现象。
发音方式—部位假说认为，人们在面对面的交流情景中，通过耳朵来检测发音方法（例如，发音是浊音、清音或鼻音等），通过眼睛来检测发音部位（例如，发音是双唇音、唇齿音或舌根音等）。在一个尚不清楚的加工层面，两种来源的信息合成，导致了“听觉”感知的最佳匹配解决方案。因此，声音的发音方法信息（即听觉信息）与发音中/后部的部位信息（即视觉信息）相结合，将会导致ga或da的感知。相对而言，该假设更倾向于认为麦格克错觉在很大程度上是声音发音部位的视觉优势的错觉。迄今为止，发音方式—部位假说是关于视听言语感知中麦格克错觉现象最新的理论解释，但是其科学性和预测效力尚待更多的实验研究来印证。
（作者单位：西北师范大学心理学院）
原标题：言语感知中的麦格克效应
来源：中国社会科学网-中国社会科学报
作者：潘超超 周爱保
声明： 本文图片来源于“东方IC”
,
