鉴于世界上5%的人患有致残性的听力受损,研究者许多年前就在研究其中的基因问题了。 42 遗憾的是,目前已经发现的与此相关的基因有220余个。对那些想快速解决问题的人来说,这一消息令人沮丧,但也在意料之中。毕竟,听觉系统就像由无数精细音符协同奏出的交响乐,与其他任何复杂系统一样,有数百种可能被破坏。只要有任何一个环节出了问题,整个体系就会受损,而结果都会体现为“听力受损”。
许多研究者正在探索如何修复这些单独的零部件,我们不妨从大脑动态重连的角度来想想解决之道:感官替代法能不能帮上忙?基于这个想法,我和我之前的研究生斯科特·诺维奇(Scott Novich)试图帮助聋人群体实现感官替代。我们开始开发一些不显眼的设备,不显眼到没人会发现你戴着它。为此,我们将高性能计算的新技术应用到一种安装在背心里的听觉-触觉转换设备中,并称其为新感官背心(neosensory vest)。它将捕捉你周围的声音,并将其转换为贴近皮肤的马达的振动,如此一来,使用者就可以切身感受到周围的有声世界(见图4-14)。
图4-14 将声音转换成皮肤上的振动模式的新感官背心
你可能会奇怪,这样的设备有用吗?请注意,你的内耳就是在做类似的事,它会把声音分成从低到高不同的频率,然后将这些数据输送到大脑进行进一步解析。从本质上说,新感官背心只是把内耳移植到了皮肤上。
皮肤是一种复杂到令人难以置信的计算材料,但我们在现实生活中却不怎么使用它。如果这种材料是在硅谷的工厂里合成的,肯定花大价钱才能买到;而现在它就藏在你的衣服下面,却总是被忽视。你可能想知道,皮肤是否有足够的带宽来传输所有的声音信息。
毕竟,耳蜗是一个精巧的特殊结构,是捕捉和编码声音的杰作;相比之下,皮肤更注重其他功能,而且其空间分辨率很差。若是将内耳的等量信息转由皮肤传达,则需要几百个振动马达才能实现,多到一个人身上都装不下。但将声音信息压缩,不到30个马达就够了。这是怎么实现的呢?压缩就是把重要信息以最精简的方式提取出来。比如,用手机打电话,对方会听到你的声音,但你的声音信号并不是直接传过去的,而是经过了手机每秒8000次的数字采样(瞬时录音),压缩算法再从成千上万的数据中提炼出重要信息,而后才会被发送到手机信号塔。利用类似的压缩技术,新感官背心捕捉声音后通过贴近皮肤的多个马达将压缩并转换后的声音“播放”给使用者。 43
新感官背心的第一位使用者是37岁的乔纳森(Jonathan),他天生失聪。我们让乔纳森使用新感官背心训练了4天,每天花2小时学习30个单词。到了第五天,为避免乔纳森读唇,诺维奇遮住自己的嘴并说出“触摸”(touch)一词,乔纳森随即感受到了皮肤上传来的复杂振动,并在白板上写下了“触摸”。然后诺维奇又说了“哪里”(where)一词,乔纳森也能写出来。
尽管乔纳森可以将复杂的振动模式转化为对单词的理解,但他并非在有意识地对振动进行解码,因为这种模式太复杂了。相反,是他的大脑正在学着自动解锁这种模式。当我们换一组新单词时,乔纳森仍然表现良好,这表明他不是在简单地记忆哪种振动对应哪个单词,而是在学习如何“听”。换句话说,如果你听力正常,我对你说一个新单词“schmegegge”(假词,无实义),你也能听得很清楚,但不是因为你曾记住了它,而是因为你学会了如何听。
我们已经将这项新技术应用到了许多其他的设备上,比如儿童胸带(见图4-15)。我们一直在对一群2~8岁的聋哑儿童进行测试,他们的父母几乎每天都会发来最新视频。
图4-15 正在使用振动胸带的两个孩子
起初,我们并不清楚这个设备是否有效,但后来发现,当有人弹奏钢琴时,孩子们会停下来聆听。不仅如此,这些孩子也开始发出一些声音,因为他们自出生以来第一次形成了听觉闭环:发出声音,并立即将其记录为一次感官输入。
虽然你已经不记得了,但这就是你在婴儿时期训练使用耳朵的方式。你咿咿呀呀、咕咕哝哝、拍拍小手、敲打婴儿床的栏杆……之后,你脑袋两侧的独特传感器(耳朵)就会收到反馈。就这样,你将自己的行为与结果联系起来,以解读输入的信号。所以,如果你正佩戴着振动胸带,当你大声说“敏捷的棕色狐狸”时,就能同时感觉到相应的振动,这就能让你的大脑学会建立两者的对应关系,并慢慢理解这种奇怪的振动语言。 44 我们稍后将看到,预测未来的最好方法就是创造未来。
我们还开发出一款只有4个振动马达的腕带,名为Buzz(意为“嗡嗡声”)。它虽然分辨率比较低,但更加实用。一位名叫菲利普(Philip)的听障使用者向我们分享了他在工作中佩戴Buzz的经历。那是关于忘记关闭空气压缩机的事情。
以前,我在离开厂房时时常忘记关闭空气压缩机,然后我的同事就会提醒我:“嘿,你忘了,空气压缩机还开着呢!”但有了Buzz以后,我自己就能感觉到有东西还在运行,然后发现是空气压缩机。现在,我已经可以反过来提醒同事们不要忘记关空气压缩机了,他们都很纳闷:“怪了,你是怎么知道的?”
菲利普说,现在他已经能分辨出狗叫声、水龙头流水声、门铃声和妻子喊他名字的声音了(她以前从来不会这样做,但现在也已习惯了)。在菲利普佩戴Buzz 6个月后,我采访了他,并仔细询问了他,是感觉到手腕上嗡嗡作响后要想想如何将其转化为听觉,还是一种更直接的感知?换句话说,当街上响起警报声时,他是先感觉到皮肤上有振动,然后再想“哦,这是警报声”,还是直接知道有一辆救护车?菲利普明确回答,是后者,“我在大脑中感知到声音”。当你看到一个杂技演员时,不需要计算射入眼睛的光子;当你闻到肉桂味时,也不需要破译你鼻黏膜上的化学分子,体验总是即时的,恰如菲利普“听到”世界一般。