第2章
大脑内部的声音

外部与内部的要素

在人类漫长的进化过程中，由于自然选择，我们的耳朵可以探测到空气分子的微小运动引起的气压变化。为此，我们进化出一系列生理结构，并通过几个有趣的步骤，将拨动吉他弦或讲话引起的空气运动转化为由音高、音色和时值等要素构成的声音，我们分别称之为吉他声或语音。

这是一个转导的过程。转导是指从一种状态转变到另一种状态，由于神经系统里“流动”的是电信号，因此， 如果想要理解声音并对其进行处理，就需要一种将空气运动转导为脑电信号的方法。 那该怎么做呢？从耳朵开始，经过骨骼的物理运动、体液的扰动和化学递质的释放等一系列精巧步骤，将信号传递到大脑，再由大脑进一步对耳朵生成的电脉冲进行加工，这样，听觉大脑就能充分地利用大脑之外的声音了。

我们可以把大脑加工声音的过程想象成一台混音器的工作过程，就像录音棚里的音响师可以通过上下滑动混音器的衰减器来平衡吉他声和人声一样， 大脑也会选择性地增强某些声音要素，同时弱化其他要素 （见图2-1）。

一旦转导完成，我们就可以自如地加工电信号，然后描绘声音的时域波形、频谱、声谱图，对电信号进行可视化加工。 与头脑外部的信号一样，头脑内部的信号也具有相同的要素，如频率、时值和谐波，而处理信号就像拨动混音器上的刻度盘或衰减器一样。由于自身经验、专业知识以及感官损伤或退化程度不同，每个大脑的“调音设备”都不同，也就是说，每个听觉大脑都是独一无二的。

溯流而上，顺流而下，声音在大脑中往复穿梭

听觉大脑深邃而广阔。 当我们聆听声音时，电信号会在大脑中往复穿梭，溯流而上，又顺流而下，并与其他感官进行互动，这个过程涉及运动、 思考以及感受。 通过整个大脑网络，我们得以理解声音，并从声音世界中创造出意义（见图2-2）。

传出（efferent）和传入（afferent）是描述移动方向的两个词，分别表示“远离”和“靠近”。那么，“远离”或“靠近”的是什么呢？对于血液循环来说，答案是心脏。我们把从心脏向外输送血液的血管称为传出血管，而把那些将血液输送回心脏的血管称为传入血管。淋巴系统中则有传入淋巴管和传出淋巴管，分别将淋巴液带入或带离淋巴结。

在神经科学领域，大脑则是传入神经与传出神经的节点。比如，传入神经系统将信息从耳朵传递到大脑，传出神经系统则将信息从大脑传回耳朵——这成了我们学习的基石，我们因此得以构筑声学现实，并成就声学自我。

溯流而上，传入系统

接下来，我们将着重讲解电信号从耳朵到大脑溯流而上的过程。在网上搜索“听觉通路”，你会发现，大部分经典观点主要强调的是听觉层级，如图2-3左图所示，听觉通路可以用从耳朵到大脑的上行单向箭头和框图表示。这并没有问题，事实上，听觉脑干位于听神经和听觉中脑之间，而丘脑位于中脑和大脑皮层之间。但图中展示的只是部分内容，而非事实全部。实际上，信息是双向流动的，而且通常不会分层级流动。虽然我不赞同听觉系统分层级的观点，但我仍然承认，从总体上来说，这种“单向模型”确实占有一席之地。接下来，我们将沿着传入系统溯流而上，了解相关器官或结构。

耳朵

外耳 外耳就是我们所能看到的耳朵的部分，包括将声音输送到中耳的耳道。

中耳 由空气运动引起的压强波动，即声音，经过耳廓和耳道进入耳朵，会“敲击”耳膜。耳膜也称为鼓膜。“鼓”这个字准确地描述了鼓膜的作用：中耳门槛。就像真正的鼓面或鼓皮一样，鼓膜也是一种膜，受到声波“敲击”时，会延展。当鼓膜振动时，它会带动人体中最小的骨头——听小骨，产生振动。听小骨由三块骨头组成，第一块是锤骨，第二块是砧骨，最后一块是镫骨。之后，镫骨会撞击另一个鼓状解剖结构——前庭窗，声音由此进入内耳。为什么我们需要听小骨两端的两个“鼓”呢？因为前庭窗的另一侧是液体，密度太大，单凭空气本身的运动不足以直接“推动”前庭窗。而三块听小骨连接起来就像杠杆一样，能将空气运动的力量放大约20倍 ^[1] 。鼓膜上的轻微敲击经过三块听小骨的放大，会变成强烈的敲击，足以叩动前庭窗。需要注意的是，这仍然属于机械运动，此时声音已经从流动的空气转变为流动的液体，而最重要的电信号转导仍未出现。

内耳（耳蜗） 镫骨在足够大的压力下“移动”了前庭窗，进而带动了前庭窗另一侧的液体移动。这种液体会“嗖”地一下流过长有毛细胞的科蒂器（听觉感受器）。科蒂器长长的螺旋状结构像蜗牛壳一样绕成圈。如图2-4所示，整个耳蜗布满了毛细胞，这里就是“转导魔法”发生的场所。毛细胞的排列规则为：内圈一排，外圈三排。每个毛细胞的顶部都有一束细小的纤毛，在液体中轻轻摆动。毛细胞夹在基底膜和盖膜之间：毛细胞扎根于基底膜，这样，纤毛就不会四处漂浮；毛细胞的尖端则固定在盖膜上。当前庭窗附近的液体发生振动后，一些毛细胞会上下跳动，导致纤毛牵拉盖膜。这种牵引运动会“打开”基底膜上的毛细胞，使带电的化学递质，尤其是钙离子和钾离子“冲入”毛细胞。这些化学递质会引发连锁反应，最终导致神经递质释放到突触（毛细胞和听神经的连接点）上，听神经的电压也随之发生突然的变化。这样，声音转导完成了， 头脑外部波动的空气被转导为头脑内部的电信号。

并不是每种声音都会引起耳蜗内的毛细胞（约3万个）无差别地摆动。毛细胞所在的基底膜既没有一致的宽度，也没有均匀的硬度。基底膜最靠近前庭窗的一端最薄、最硬，而从底端向顶端延伸的过程中，其整体上会变厚、变软，像马尾辫一样。这种生理差异使得位于窄而硬一端的毛细胞能被最高频率（音高）的声音激活，随着声音的频率越来越低，越接近宽而软一端的毛细胞越容易被激活。这种系统性排列被称为音调定位拓扑图（tonotopy）。耳蜗里存在着这样一种声音频率的拓扑图，就像长了一个小小的钢琴键盘；而从耳蜗到大脑皮层的整个听觉系统中，也存在着这种拓扑图。 大脑功能的拓扑图是统合感觉的基本组织形式。

听觉系统

大脑是我们听闻世界的媒介。关于这一点，我最喜欢罗宾·华莱士（Robin Wallace）在《聆听贝多芬》（ Hearing Beethoven ）一书中的描述 ¹ 。贝多芬在丧失听力后是如何创作出诸多杰作的呢？答案是，一如既往地做如下事情：

他兴之所至，即兴勾勒，再雕章琢句。他的创作方式在失聪前后并没有明显的改变，他只是在不断地“打磨”自己与钢琴的关系。与其把贝多芬想象成一只没有翅膀的鸟或一条离开水的鱼，不如把他想象成一名安全地驾驶着飞机、翱翔天际的飞行员，他凭借的不是导航设备，而是对驾驶飞机的心领神会。

当外耳、中耳和内耳完成了各自的工作以后，在我们最终理解声音之前，“听觉”还有很长的路要走，在这段旅程中，要经过听觉通路上的许多小“站点”。

“大脑”一词通常指的是大脑皮层，也就是分布着深深的脑沟和脑回的左右球壳。除了大脑皮层，我们同样需要关注大脑皮层之下那些不为人熟知的区域。在听神经和大脑皮层之间有耳蜗神经核、上橄榄复合体（位于脑干）、下丘（位于中脑）和内侧膝状体（位于丘脑），耳朵转导的电信号会依次经过这些结构。相比其他感觉过程来说，听觉过程会涉及更多皮层下结构。

接下来，我们一同来了解听神经到听觉皮层的“旅程”。声音的加工形式在穿越听觉大脑的过程中会不断地发生转变。脑伏特实验室的前成员詹娜·坎宁安（Jenna Cunningham）通过同时记录中脑、丘脑和大脑皮层的神经元活动，展示了听觉通路上不同的神经反应。她的实验清楚地表明，不同结构对同一声音的反应是不同的 ² 。

听神经 听神经是一束纤维。每只耳朵约有3万根听神经纤维，根据它们与耳蜗基膜上的接触位置，可以调谐到特定频率。音调定位拓扑图首先出现在耳蜗中，然后出现在听神经中，声音频率会根据神经元所在的位置进行编码，当声音向大脑传送时，音调定位拓扑图也会随之扩展。

声音从耳朵向大脑传送时，还有另一项组织原则： 随着向大脑皮层攀升，神经元放电活动所受的速度限制会逐渐降低 。也就是说， 从耳朵到大脑皮层，特定神经元与声音同步的速度是递减的，同步速度在听神经纤维中最快。

听神经元 声音在耳蜗和听神经的交界处完成电信号转导并“踏上”通往听觉皮层的道路后，遇到的第一个结构是耳蜗神经核。耳蜗神经核有多种类型的细胞，如丛状细胞、侧轮状细胞、章鱼体细胞等 ³ ，同时这些细胞有不同的功能反应特性 ⁴ （见图2-5 ⁵ ）。

沿着耳朵到大脑的通路上行时，由于抑制（inhibition）作用的存在，神经元对声音的反应会变得越来越精确。 在没有声音的情况下，神经元并非完全不活动，而是会自发放电。神经元对声音的反应包括兴奋（高于自发放电率）和抑制（低于自发放电率）两种模式：接收到某个特定频率的声音以后，调谐在该频率上的神经元的放电率会升高，超过自发放电率；与此同时，调谐在其周围频率的神经元的放电率会降低，低于自发放电率。抑制作用有助于某些声音要素“脱颖而出”，从而提升精确度和调谐效果。

耳蜗神经核的一个作用是进行调幅 ⁶ 。耳蜗神经核的细胞是针对特定调幅频率的，而声音的音高正是由调幅频率决定的。当我们说话时，在声带开合振动的作用下，声音会产生调幅效果。

耳蜗神经核完成这一系列工作后，神经脉冲会继续行进并传递到下一个结构。这次传递的时间比之前更长，因为在这一阶段，单只耳朵发出的神经电流会流向双侧大脑。

上橄榄复合体 在精确计时方面，听觉系统的确很出色，使得视觉系统相形见绌。对于声音中微秒级的时间信息，大脑需要以微秒级的精度进行接收。而上橄榄复合体（见图2-6）是处理时值的大本营，它负责双耳声音加工、声音定位，以及从听觉场景中挑选大脑感兴趣的声音。

任何非直面而来的声音 ，都会以不同的时间和响度传到我们的两只耳朵。如果声音稍微偏离中心，那么声音到达两只耳朵时会产生时间差，时间差最小可到十万分之一秒（10微秒）的级别。如果声音是从左侧发出的，那么它到达左耳的时间会比到达右耳早几百毫秒，且从左侧而来的声音在左耳中会比在右耳中更响一些，因为声音到达左耳的传播路径更短，而且中间没有脑袋的阻挡。

不同声音频率在两只耳朵之间形成的时间差和响度差会有所不同。对于低频的声音，由于其波长很长，它们在绕过头部时响度损失不大；但声波到达两只耳朵的时间会有差异，虽然差异微小，但足以被探测到。相比之下，高频的声音会被脑袋阻挡，因此到达两只耳朵时存在响度差。由于每只耳朵都会将信息传递到双侧的上橄榄复合体，这让我们能够对声音的时间差和响度进行比较 ⁷ ，并有助于我们确定声音在空间中的来源。不妨让你的大脑来算一下：世界上哪个位置发出的声音，会给两只耳朵带来这样的时间差和响度差呢？除了辨识声音在空间中的位置外，这种能力也有助于我们将声音组合成单个“听觉对象”，比如同伴的声音，这样我们就可以在充满竞争声音的环境里选择性地关注到它。例如，在一家嘈杂的餐厅里，朋友坐在你的左边，此时，你最好忽略右边桌子上与朋友声音相似的陌生人的声音。在这种情况下，上橄榄复合体的双耳处理功能有助于我们理解声音。

听觉中脑：下丘 听觉传入神经通路的下一站是位于中脑的下丘。下丘与上丘是相对位置的“上”“下”，既不表示大小（下丘是最大的皮层下听神经结构），也不表示重要性（下丘位于听觉通路的中间部分）。下丘是个新陈代谢活跃（高耗能）的结构，既是听觉处理传入神经的中继站，也是多种感觉神经活动与非感觉神经活动的传出神经的交汇处。下丘，也就是听觉中脑，在听神经学家看来，其功能是整个听觉功能中至关重要的一环。

就像从大脑其他部位输入的信号一样，来自两只耳朵的信号也汇集到了中脑。此后，中脑会负责进行频率调谐选择、声音定位以及构造出“听觉对象” ⁸ 。 正因为听觉中脑是听觉信息加工的交汇处，也是多种大脑信号的交汇点，所以它在理解声音方面起着至关重要的作用。

不过，尽管中脑位于大脑深处，但它产生的电信号很强烈，足以在头皮上测量出来。脑伏特实验室的大部分研究都涉及中脑脑电波的监测，我们借助频率跟随反应（frequency following response，FFR） ，来研究音乐、阅读、孤独症、老化背后的脑机制。

听觉丘脑：内侧膝状体 通往大脑皮层的最后一站是内侧膝状体。内侧膝状体位于丘脑外侧膝状体旁边，而外侧膝状体是视觉系统的皮层下处理中心。

与听觉系统相比，视觉系统的皮层下处理步骤要少得多，视神经或多或少地会从视网膜直接上行至丘脑，没有类似于听觉处理的“站点”，如耳蜗神经核、上橄榄复合体或下丘等结构。视觉信息会从视网膜传输到丘脑，再到大脑皮层 。嗅觉则是从鼻子到嗅球，再到大脑皮层 ⁹ 。值得注意的是， 听觉的皮层下系统异常丰富，它的听神经及耳蜗神经核、上橄榄复合体、下丘和内侧膝状体等站点都由若干个子站点组成。

丘脑将来自听觉中脑的信息传递给听觉皮层，编码声音的持续时间，完成对复杂声音的进一步处理，并整合来自大脑不同区域的大量信息。它还可以调节意识，包括警觉、觉醒和觉知。 丘脑像一个探照灯（它的形状其实就 像一个灯泡），搜寻着大脑中的神经活动。

听觉皮层 听觉皮层恰好位于耳朵上方的颞叶中，左右各有一处。听觉皮层是传入神经通路的最后一站，也具有音调定位拓扑图。在这里，特定区域上的神经元会根据信号是来自一只耳朵还是两只耳朵做出最佳反应，并进一步细化双耳处理 ¹⁰ 。听觉皮层负责解析谐波 ¹¹ 、和谐音或不和谐音 ¹² 以及信号的调幅与调频 ¹³ ，是探测声音模式的“能手” ¹⁴ 。此处的神经元能选择性地对一段声音做出反应，并标记出声音的始末 ¹⁵ 。大范围内的皮层神经元都有选择性，有的会在特定频率上调谐，而大多数只对某些声音要素的组合有反应，如由辅音切换为元音时出现的扫频成分 ¹⁶ 。 总而言之，听觉皮层能灵活地从持续的声音环境中筛选出相关元素，并形成离散的听觉场景 ¹⁷ 。

除了以上的声音加工功能，听觉皮层还能识别真实的声音，比如对于“木倾于林，其有声焉”这个问题 ，答案是：功能完好的耳朵和皮层下核团在没有听觉皮层时也会被声音激活，尽职尽责地发放电脉冲，但如果没有听觉皮层，就不会产生我们能“感知到的声音” ¹⁸ 。

听觉大脑的偏侧性 大多数人都熟知左右脑的概念，左右脑分别执行特殊功能，是神经系统古老的进化特征 ¹⁹ 。

从听觉大脑的角度来看，左右脑都参与了声音要素的处理。例如，对于语音，右脑倾向于处理基频成分（音高），而左脑则主要处理时值和谐波这两种语音线索 ²⁰ 。声音和大脑的反应跨越了从微秒到秒的多个时间尺度，而这些时间尺度的处理同样与左右脑有关。左右脑都会参与语音和音乐的处理，但方式却不相同 ²¹ 。同样，在音高、音色和时间尺度等声音加工方面，皮层下核团也有偏侧性 ²² 。总之， 整个听觉通路中都存在偏侧性，这也是听觉大脑具备分布、整合以及反射性质的辅证。

听觉的魔力依赖于整个声音处理系统的协同工作，我们将在下文介绍。

大脑内部信号传输受阻会导致声音理解困难

如果声音信号处理的不同阶段出现问题，会对现实生活产生怎样的影响呢？曾经有很多存在异常听力问题的人经常来脑伏特实验室找我们。

曾经有一位叫佩吉的年轻女性找到我们，她的听觉皮层受损，也就是患有所谓的“皮质性聋”（cortical deafness）的疾病。她曾因癌症接受治疗，挽救了自己的生命，但却损伤了大脑两侧的听觉皮层。虽然佩吉的耳朵和皮层下系统的功能运转仍然良好，但由于皮层损伤，佩吉可以感知声音，却无法理解声音的含义。

一个叫戴维的孩子的皮层下系统在声音加工方面存在问题。他的父母和老师知道他的听力出了问题，因为他在教室这样嘈杂的环境里都听不到任何声音。他没有交过作业，因为他没有听到老师布置作业的声音。在家里，他对声音的反应也和常人不同，因此，他的父母怀疑他是否有听力障碍。然而，检查结果显示，戴维的耳朵功能是正常的。于是戴维接受了一项测试，需要识别不同音高的哔哔声，结果，即使是音量很低的声音，他也能成功地分辨。实际上，戴维的问题是由他的大脑皮层下系统的神经放电缺乏同步性造成的。他的大脑中的神经活动可以从耳朵经由每个站点到达听觉皮层，但并不是以同步的方式行进的，使得神经活动错失了正确的时机。

现如今，人们对戴维的症状已经颇为熟悉，并将其称为听神经病变 ²³ 。对患有这种病变的人来说，即使在最轻微的噪声环境中，他们的听力也会很差。也就是说，他们在噪声中会完全失聪，而在安静的环境中，他们理解别人说的话通常没有问题。与患有皮质性聋的患者不同，听神经病变的患者通常一开始不会意识到有声音的存在。脑伏特实验室曾持续20多年随访一位患有听神经疾病的年轻女性苏珊。苏珊不得不戴着耳机工作，但她并没有听音乐，因为她听不到同事的呼唤声，而戴着耳机会让同事以为她在听音乐，当她的同事想引起她的注意时，耳机的存在会使他们去拍她的肩膀。现在，当有人敲门或打电话时，她的小女儿会提醒她。

佩吉、戴维和苏珊的故事告诉我们， 我们需要通过听觉皮层来理解声音。 而且，皮层下的听觉系统以及精密、快速、同步且一致的神经放电活动，对觉察声音以及在噪声中维持清晰的听觉是十分必要的。戴维和苏珊的故事为我们解答了为什么听觉是最快的感觉，也有助于我们理解听觉过程是如何依赖于精妙的同步计时的，以及为什么即便最细微的延时也会产生严重的影响。

这些患者来找我们时，是想寻求答案，在某些情况下，我们确实能从他们的大脑对声音的反应中察觉到一些异样，同时，他们也帮我们找到了一些问题的答案。此外，通过向我们展示听觉大脑可能会出现的问题，他们也向我们揭示了在正常情况下，具备完好听力的条件都有哪些。

从耳朵到大脑：问题与答案

令人欣喜同时又会让人感到遗憾的是未知的事物。例如，具有并排的频率定位拓扑图的特定结构并不罕见 ²⁴ ，但有些拓扑图为什么是铺陈样式的？二者在功能上有什么不同？再举一个例子，上橄榄复合体和听觉皮层在双耳听觉处理过程中都发挥着关键作用，但对二者各自的独特作用，我们却知之甚少。此外，听觉中脑也给我们出了另一个难题：为什么来自耳蜗神经核和上橄榄复合体等“站点”的信息，都会汇聚到听觉中脑？人们可能会认为，这些结构完成了各自的任务之后，它们的输出不会聚到一起，但事实上却聚到了一起。而且，对于皮层下的听觉系统为什么比其他感觉系统更庞大、更复杂，我相信一定会有很好的解释在等待着被发现。

我们已知声音沿传入神经通路从耳朵传递到听觉皮层的工作原理。神经信息在“站点”间的传递并不是简单地复刻；相反，神经元表现出的放电模式越多样化，它们对其响应的声音也越有选择性，对声音的产生与终止也会变得更加敏感。通过抑制作用，也就是抑制某些神经元的放电率，声音加工会变得更聚焦，也更普遍。此外，神经元随经验变化的能力也会增强。 神经元不同的放电模式、抑制作用、对特定声音的选择性、随着学习而变化等原则，有助于从听神经到大脑皮层之间的声音加工变得更专业化。 与此同时，沿听觉通路越往前走，听觉中枢与感觉、运动、认知以及感知声音情绪等功能的系统之间的联系也会越来越紧密 ²⁵ 。

还有一个原理： 越接近耳朵的一端，神经元与声音同步的速度越快；而随着其上行至皮层，同步的速度会逐渐变慢。 如果一种声音以每秒30次的频率重复，皮层下神经元可以跟得上，但皮层神经元只能跟上慢得多的频率。例如，皮层下神经元能跟上2 000 Hz的频率，而皮层神经元只能处理约100 Hz的频率。在声音上行的过程中，信息并没有丢失，只是编码方式发生了变化，且越靠近大脑皮层，信息整合所需的时间越长。皮层下结构是大脑的时间专家，其微秒级的时间精度体现了听觉处理的精确性，而快速计算双耳时差以进行空间定位和声音识别，也是皮层下结构的功能之一。另外，大脑皮层也具备相应的能力，可以整合长时间的听觉场景，这是我们驾驭语句和乐句的必要条件。

总之， 皮层下网络和皮层网络共同对声音进行加工。 从功能的角度来看，皮层下系统使我们能在复杂的音景中听到信号，使我们能在嘈杂的房间里听到朋友的声音。它对我们能立刻很好地觉察声音也是必不可少的。而我们能从声音中获取含义以及理解朋友说的话，大脑皮层功不可没。

顺流而下，传出系统

近年来，我们逐渐认识到了传出系统对感知世界的重要性。听觉传出系统是一个实质性的脑—耳网络，是位于耳—脑传入通路旁边的一条反向信息通道。传出系统比传入系统要复杂，且不像后者那样在每个“站点”经停。简而言之，万事万物是相互联系的，那么为什么呢？

伴随进化的历程，传出系统的复杂程度随之增加 ²⁶ ，在人类和其他高度进化的物种中，传出系统逐渐占据了主导地位，影响着物种的思想灵活性和学习偏好性。传出系统可以选择性地专注于我们习得的重要声音 ²⁷ 。这里的“传出”不仅指听觉系统内部的信息流动，也指信息从大脑的非听觉中心向听觉系统的传递。

传出系统下游的一些处理过程会引导我们听到特定的声音内容 ²⁸ 。我们内心对声音的感知取决于声音本身的主旨含义，然后，来自听觉皮层的反馈信息以及来自认知系统、运动系统和奖赏系统的输入信息，会触发大脑对声音里重要细节的审查，并对不重要的细节进行修剪，从而精细化声音感知。也就是说，我们通过传出系统将过去生活中对声音理解的经验带入传入系统携带的信息中。听觉大脑会接收大脑外部的信号，然后编译为我们能理解的声音。听觉通路的每个“站点”（听神经、耳蜗神经核、上橄榄复合体等）都与其他感觉系统、运动系统、认知系统和情感系统相互沟通交流， 正是这种相互影响的上行与下行系统构建了学习框架，塑造了听觉大脑。

听觉与其他感觉密切相关

视觉会影响听觉，反之亦然。乐手敲击马林巴琴（一种木制打击乐器）时的手势会影响音符的长度。为一段马林巴琴演奏的长音符的视频配上一段剪辑的短音符音频后，听者会“听”到长音符，而不是音频里的短音符 ²⁹ 。同样，我们对弦乐器颤音的判断也会受视觉的影响。提琴颤音是一种轻微颤抖的音调，是由左手指尖在琴弦上来回滚动同时拉动琴弦而形成的。在小提琴演奏中，感知到的颤音的大小，取决于听者能否观察到演奏者弹奏颤音时手指的滚动动作 ³⁰ 。在大提琴演奏中，如果弹拨动作伴随着弓弦音，或者反过来，那么即使是差别明显的弹拨音和弓弦音，也会变得模糊不清 ³¹ 。在语言感知的过程中，也有一个著名的视觉和听觉之间相互作用的现象，即麦格克效应（McGurk effect） ³² 。例如，将音节ba的音频剪辑配上音节fa的发音口型视频，“ba”听起来就会像音节fa的音，因为门牙碰触下嘴唇时可以产生/f/音或/v/音，这种视觉小把戏会瞒骗大脑，让我们误以为“听到了fa”。类似地，触觉和嗅觉也会影响我们的听觉。

听觉受到运动的影响

“你对钢琴做了什么？现在弹起来容易多了。”我的钢琴老师塞尔瓦托·斯皮纳（Salvatore Spina）是名钢琴调音师，他说自己帮客户调音后经常从客户口中听到这样的话。因为不再需要太用力，所以钢琴似乎更容易弹奏了，但我认为，这其实与感觉变得更加放松有关。跑调的钢琴音听起来会让人感到如临深渊，并且让人产生肌肉紧张感。优秀的钢琴家在弹钢琴时是放松的。不过，这只是我根据自己对听觉系统和运动系统间的关系的了解做出的猜测。

听觉和运动之间存在广泛的联系，有共同的进化起源。耳朵起源于以完成运动为目的，用来感知重力和空间位置的器官。我们仅仅听到语音而自己不发声，就能激活大脑运动皮层以及说话会用到的肌肉。仅仅听到节奏 ³³ 或钢琴旋律 ³⁴ ，就能激活我们大脑的运动系统，对音乐家来说更是如此。相反的情况也成立，如钢琴家观看别人弹钢琴而听不见声音时，或某人在默读时，他们的听觉中枢也会被激活 ³⁵ 。此外，音乐家的演奏动作也会影响听众对音乐作品的情绪感染力或张力的感知，甚至会影响听众自动产生的生理反应 ³⁶ 。

无论你是亲自做某个动作，还是看到或听到别人做这个动作，镜像神经元都会被激活（见图2-7） ³⁷ 。这些 神经元能帮助我们通过观察他人的行为来了解他人的意图和情绪 。镜像神经元还可能有助于我们形成共情力以及学习语言。孤独症与镜像神经元系统的缺陷有关，这或许可以解释为什么孤独症患者很难从别人的角度看世界，不过这种解释仍然存在争议 ³⁸ 。

听觉受知识的影响

在《语言与音乐的生物学基础》课上，我最喜欢演示一段剪辑过的语音，它经过了加工处理，听起来就像乱七八糟的静电噪声，可以想象一下牙疼的达斯·维德（Darth Vader）在雷雨天气扮演饼干怪兽的场景 。我会播放几次，然后让学生举手回答他们是否能听出来是什么。结果不出所料，根本没人举手作答，甚至没人听出这是一段语音。然后，我会播放这段语音的原声版本，在这之后，当我再次播放那段乱码的语音剪辑片断时，所有学生都仿佛灵光一闪，都能完全理解那段乱七八糟的声音了。他们都惊讶于那段语音的含义听上去是那么明了，不敢相信自己曾经被它难住。所以说， 我们所了解的知识，对我们所听到的内容有着巨大的影响。

听觉受情感的影响

我们经常会听他人说：“听到你的声音真好！”我们之所以如此，是因为我们与我们关心的人建立了声音与情感的联系。大脑的边缘系统或奖赏系统负责情感、动机和奖赏，涉及大脑皮层、脑干、丘脑和小脑等一系列结构，其中一部分属于大脑进化历程中最古老的部分。这就是为什么声音能成为通向记忆的主要媒介。人能否生存，取决于人是否记住了代表着危险的声音和代表着食物的声音。

无论是人、猴子、鸟、乌龟、章鱼还是蛤蜊，其最深层情感所引发的生理变化似乎都是一样的。在各个种群中，与欲望、恐惧、爱、快乐和悲伤有关的激素和神经递质等化学物质是相似的，几乎都包含雌激素、孕激素、睾酮和皮质酮（一种应激激素） ³⁹ 。

任何物种在饮食或交配时释放的多巴胺都与愉悦感有关，而多巴胺同样也与药物成瘾和痛感降低有关。当你在深夜散步时，如果突然听到某个声音，你会产生恐惧。大脑的边缘系统可以通过快速、低分辨率的通路，优先接入听觉中枢。这就是为什么我们对深夜里突然听到的响动会立即做出本能反应，而片刻之后，当大脑开始分析时，我们才意识到：原来是远处的垃圾桶盖子的砰砰作响声，它并不会伤害我们。大脑对突然响动的反应速度可以归因于皮层下情绪系统的功能特征以及潜意识功能 ⁴⁰ 。 中脑对声音的反应会受到另一种与认知和奖赏有关的神经递质——5-羟色胺的影响 ⁴¹ 。

再比如，母鼠会对幼鼠的叫声做出反应，也是因为其大脑的边缘系统在起作用。幼鼠离巢时会叫，而母鼠将幼鼠送回巢穴的行为能引起催产素的分泌。催产素是一种与母子关系有关的激素，它的释放会影响听觉皮层加工声音要素的方式。听到幼鼠的叫声后，与从未分娩过的雌鼠相比，母鼠大脑听觉系统中产生的反应是截然不同的 ⁴² 。

正如视觉、运动、思维和情感会影响听神经元一样，影响声音加工的最主要因素之一是加工声音的方式。我们在生活中听到的声音（声音体验），会在执行听觉任务及将声音赋予含义的神经元上留下不可磨灭的印记。 正是因为神经元可以发生改变，我们才有了学习能力，这反过来说也是成立的。 重复做某件事，最终会让我们成为处理该事务的专家，正如人们会说“我闭着眼也能做成这件事”。而在声音特征提取方面积累的丰富经验，会改变听觉大脑自动处理声音的方式，这种变化即使在睡梦中依然有效。这是因为传出系统的改变驱动了传入系统的改变。整个听觉传出通路上的神经元的反应特性均具有可塑性，耳蜗也是如此。 伴随经验而发生重塑的神经元放电方式，特异性地塑造了每个人对声音的独特反应，对此，我们将在接下来的章节中展开介绍。

[1] 中耳运用了两种机械工程原理来放大鼓膜和前庭窗之间的压力。第一种是杠杆原理：三块听小骨构成一个跷跷板，其支点靠近前庭窗的一端。因此，鼓膜上的一点压力经过转化，到了前庭窗，就会变成较大的压力，就像只要有合适的支点，小孩用跷跷板也能把成年人跷起来。第二种与压强和受力面积有关：鼓膜和前庭窗的大小不同，后者要小得多，而压强等于力除以面积（ p = F/A ）。当鼓膜和前庭窗之间的力相同时，由于前庭窗面积小，因此其压强大。 wZuzd5BttiKb7tkM0J8EoQQC2QgXh5XBy3YeGV6Jk9XJoeEEqBLQM7inBmwhGwro