以达特茅斯会议为起点,回顾人工智能自概念诞生以来的六十余年,如同潮汐,政企学各界对AI的探索热情几经涨落。
经历了两次AI研究的寒冬,在深度学习技术思路的牵引下,AI进入了大数据、大计算、大模型算法的时代。先进的存、算、数据能力成为AI又一次崛起的前提条件。了解了这一点,便可以约略推测出当前的AI将来可能遇到的瓶颈、限制,以及需要完成的跨越。
从AlphaGo、AlphaGo Zero称雄围棋领域到AlphaFold2震撼医疗领域、达成高精度预测蛋白质结构的成就,再到ChatGPT通过图灵测试、几乎在一夜之间风靡全球,AI技术对我们所处的物理世界和数字世界的改变骤然加速。这一系列的成就与荣耀在很大程度上得益于深度学习技术思路的萌生与发展。预计5~10年内,深度学习仍是AI技术体系中最重要的算法模型,但这一技术思路也需与时俱进,不断改变和提升。
面对数字化3.0阶段将物理世界与生物世界进行数字化的复杂需求,研究者需要“知识+数据+算力”驱动的融合性AI算法,需要构建结合了符号逻辑、知识型推理和第一性原理的AI新范式。要想实现这些目标,就须推动那些影响AI性能表现的基础要素逐一完成突破,如此方能获得远超今日AI能力极限的新一代AI。也就是说,今天的AI很强大,但还可以更强大。
影响AI性能表现的三个基础要素是算力、数据和算法。算力和数据是算法的底座,是为算法服务的前置条件。
算法是AI三要素的核心,决定着AI技术能否真正创造出赋能应用的价值,以及能创造多大的价值。今后,算法依旧会处于AI三要素的核心位置。具体到AI领域,算法一般指最终实现“机器拟人”目标的运算策略和运算规则。
历经六十余年的漫长发展,AI领域累积了数量相当可观的算法财富。这些算法可以被视作科研工作者一次次朝向AGI终极目标发起的冲锋。其中,一些算法曾取得划时代的耀眼成就;另一些算法则被尘封于历史长河里;更多的算法研究则编织了AI学术脉络的一部分,以日拱一卒的方式执着推动着AI的发展。
在深度学习技术探索的早期,递归神经网络(RNN)、卷积神经网络(CNN)、长短期记忆人工神经网络(LSTM)是主要的代表性算法。近年来,生成对抗网络(GAN)和成果惊人的预训练大模型(Transformer-Based)为基于深度学习思路的算法开启了新的发展空间。这些围绕着深度学习的算法创新,业已令AI取得了举世瞩目的成就,比如演绎了垂直增长神话的ChatGPT,被广泛应用于安防、鉴权领域的人脸识别等。可以说,如今,在感知智能领域,如语音识别、物体分类、行为识别等,AI都已达到甚至超越了人类的水平(见图2.1)。
图2.1 人工智能的技术、任务与挑战
但我们应该看到,一方面,以现有算法训练出的AI在需要复杂推演能力和联想能力的任务场景中的表现还暂时达不到人类的水平。比如说,我们已经教会了AI分辨出猫和狗,或是标记、区分每个人的面容特征,但研究者很难像教小孩子那样,让AI轻松理解为什么可以由猫联想到灵巧、由狗联想到忠诚、由雄狮联想到威严。
另一方面,现有算法的安全性和可解释性还有待提升。随着AI表现出的能力越来越强大,业内有关深度学习算法黑箱性的讨论也愈演愈烈。由于是通过多层、复杂的神经网络进行训练,当神经网络叠加到一定的量级时,每一层网络分别能起到什么样的作用、带来哪些性能的变化,特别是涌现现象何以发生,成为很难解释的问题。过程不可知往往意味着结果不可控,这自然会降低人类对AI算法的信任程度。也就是说,即便技术发展迅速,在算法的透明性、可解释性、因果性、安全、隐私与伦理等方面,AI算法也面临许多挑战。
除了算法,算力也逐渐成为制约AI技术进化的关键问题。算力是供给AI释放出自身威力的能源,其地位就好比石油、天然气之于工厂。与AI技术的迅猛发展同步,其对算力能源的需求亦呈现出几何级的增长态势。早在2018年5月,OpenAI便发布了一份名为《AI与计算》( AI and Compute )的分析报告,该报告成为后来计算产业与AI发展相关研究的重要参考文件。该报告称,从2012年深度学习算法大放异彩开始,AI训练任务所需的算力平均每三四个月便会翻倍。这一数字显然大大超出了摩尔定律规范的处理器性能翻倍增长的周期(18个月),这就意味着,对AI算力的供给远远无法满足其需求。该报告还指出,2012—2018年的6年间,全球AI算力需求增长了30万倍以上,此后还将持续迅猛增长。
面对可能很快达到百万倍(甚至更高)增长的AI算力需求,我们该如何填充算力供需之间存在的鸿沟?或许我们可以回归计算与通信领域的基础理论,着眼于那些制约算力发展速度的基本规则,来思考如何从源头突破算力对AI发展的桎梏。
在诸多计算与通信相关的定律中,有三则定律可以视作迄今为止计算与通信范式的根本——香农定律、冯·诺依曼架构和摩尔定律。
首先,香农定律指出了信源编码的极限是信源的熵值,推理出信道容量与编码速率的表达式,在此基础上引申出通信领域的三个极限:无损压缩极限、信道传输极限、有损压缩极限。香农极限规定了人类目前的网络能力能实现的最大通信速度。
其次,冯·诺依曼架构规范了现代计算机的基础结构和运行逻辑。在这一架构下,计算机由五个基本部分组成,具有程序存储、共享数据、顺序执行的特点。然而,遵循此架构设计出的计算机也存在着运算器和存储器之间通信延迟等问题,从而导致速度瓶颈的出现,这对深度学习的进一步发展构成了一定的限制。也就是说,我们需要新的计算体系和通信架构,突破冯·诺依曼架构的限制。深度学习需要的基于海量数据的Tensor Products(张量积)、稀疏矩阵、布尔代数等要素在传统的冯·诺依曼架构下不易实现,异构计算、GPU(图形处理器)、FPGA(现场可编程门阵列)、AI ASIC(专用集成电路)等技术加速并彻底形成新架构成为大势所趋。在新架构诞生后,更多新算法、新模型、新型芯片将随之衍生,这将是一个非常大的机会。
最后,摩尔定律也是限制之一。在半导体工艺走向极致化的今天,芯片晶体管数目的增长曲线已越来越平缓,摩尔定律正逐步走向终结。与此同时,用于AI训练的算力需求却在爆发式增长。尽管通过制程工艺的进步、架构的改进、电路设计的优化等方式,GPU的性能每年都可以翻倍提升,但很显然,算力提升的速度依旧赶不上AI成长所需的增速。随着时间的推移,算力水平与智能科技发展之间的矛盾将会变得越发突出。
再来看看数据这个要素。数据是AI算法进步的养料,也是让AI更好地服务于现实产业的原料。每分每秒,人类的生产、生活都在产生更多的数据,而吸收、理解这些数据的AI也会变得越发强大,之后再将变强的能力回馈给人类社会。这样的正循环本应是打开未来之门的关键,但问题是,为AI供给养分的数据也面临越来越多的瓶颈。
新数据每分每秒都在产生,永不停歇,但在物理世界中,存放数据的硬件空间是有限的。如何有效解决数据的存储、调用乃至容灾保管等问题,也在某种程度上影响着AI的发展。
与此同时,研究者还要面对如何正确收集数据、找到有用数据,进而以具有针对性的AI技术解放特定行业生产力的问题。比如说,在探索以AI解决各种农牧业问题的过程中,就经常会发现相关领域此前从未进行过有意识、成系统的数据收集。究其原因,大量行业的信息化水平本就有限,数据留存的基础极其薄弱,而恰恰是这些行业的智能化升级需求最迫切,部署实施后的升级效果也最显著。
另外,一些数字化部署较早、数字化程度较深的行业,可能已积累了海量的数据,但数据与数据之间往往缺少关联,对数据进行逻辑化精炼也相当困难,或者说存留的数据大部分是非结构性数据。这些数据对AI训练的帮助不大,更难用于校对训练结果的正误。
客观地说,时至今日,我们已无限逼近传统计算与通信理论所规划的极限。想要突破AI发展的瓶颈,一方面必须对基础的存、算、网架构进行升级,寻求突破;另一方面也应在新的计算范式、新的计算架构、专用芯片研发等方面投入更多的资源,付出更多的努力。