9
我的偶像

1983年夏，我从工程专业毕业时，从一本书上了解到一个对自组织系统和自动机网络感兴趣的小组：网络动力学实验室（LDR）。他们的办公地点位于巴黎圣纳维耶沃综合理工学院的旧址，小组成员都是法国人，他们来自各大高校。因为该小组不挂靠任何机构，所以几乎没有经费和预算，只有一台回收的计算机。从另一个角度说，法国在机器学习方面的研究当时正处于近乎停滞的状态。我拜访了他们。和我不一样，这些研究人员没有接触过有关神经网络的早期出版物，但他们熟悉其他作品。

我向他们表示，我对他们的研究课题感兴趣，而且我所在学院的设备有助于他们做进一步的研究。后来，我在皮埃尔和玛丽·居里大学继续研究生学习时，也加入了他们的小组。1984年，我准备攻读博士学位。虽然当时我有巴黎高等电子与电工技术工程师学院的研究奖学金，但还没有找到合适的论文指导老师。弗朗索瓦丝·福热尔曼——苏利耶（Françoise Fogelman-Soulié，后来更名为Soulié-Fogelman）与我共事了很长时间，她当时是巴黎第五大学的计算机科学副教授。从能力上来讲，她完全可以指导我，可惜，她还没有完成国家博士论文（此资格是欧洲教育体系的特色），所以她没有取得指导博士论文的资格。

因此，我只能求助于实验室中唯一一位能够指导计算机博士论文的教授莫里斯·米尔格朗（Maurice Mil-gram），他是贡比涅技术大学计算机和工程科学的教授。他同意成为我的导师，但同时表示他对神经网络一无所知，所以可能帮不上什么忙。我永远都不会忘记他对我的关照。那段时间，我将所有精力都用在了巴黎高等电子与电工技术工程师学院（和它强大的计算机）和LDR（和它的知识环境）中。

我身处一个完全未知的领域，这实在令人兴奋。在国外，也有一些课题跟我们接近的研究小组正在慢慢起步。1984年夏，我陪同弗朗索瓦丝·福热尔曼去了加利福尼亚，在带有传奇色彩的施乐帕克研究中心的实验室实习了一个月。

当时，我十分渴望见到两位大人物：一位是来自巴尔的摩约翰斯·霍普金斯大学的生物物理学家和神经生物学家特伦斯·谢诺夫斯基（《深度学习》作者），另一位是来自卡内基·梅隆大学的杰弗里·辛顿，后者与约书亚·本吉奥和我共同分享了2018年度的图灵奖。辛顿和谢诺夫斯基于1983年发表了一篇有关玻尔兹曼机（Boltzmann Machines）的文章，并在其中描述了一个带有“隐藏单元”的神经网络的学习过程，这个隐藏单元是位于输入和输出之间的中间层的神经元。我之所以对这篇文章感兴趣，主要是因为他们提到了多层神经网络的训练，这可是我研究课题中的核心问题，他们是真正对我的研究有价值的人！ 26a6xXCNWhR1Uq/+RpfEN3fKZh6bJ3vXlM5wYi+dUcxyB3yjulL4N/Vz/yRNr8Qj