对于人工智能而言,最重要的就是要找到一种方法,或者说一种适合机器训练的方法来教会机器理解人类的语言与表达,以及具备类似于人类的学习能力与逻辑思考能力。因此,本质上而言,机器学习的核心包括两方面,一方面是机器的学习方法,另一方面是类人的认知能力。
可以说,从人工智能技术出现至今,人工智能领域的科学家们一直在致力于寻找到一种适合机器学习的方法。直到ChatGPT的出现,让我们意识到,只要构建出一种适合类人智能的机器学习方法,让机器拥有类人智能与语言逻辑能力是可能的。
机器学习是催生了近年来人工智能发展热潮的最重要技术。作为人工智能的一个分支,机器学习也是实现人工智能的一种方法。
早在1950年,图灵在关于图灵测试的文章中就已经提及到机器学习的概念。
1952年,IBM的亚瑟·塞缪尔(Arthur Samuel,被誉为“机器学习之父”)设计了一款可以学习的西洋跳棋程序,它能够通过观察棋子的走位来构建新的模型,用来提高自己的下棋技巧。塞缪尔和这个程序进行多场对弈后发现,随着时间的推移,程序的棋艺变得越来越好。塞缪尔用这个程序推翻了以往“机器无法超越人类,不能像人一样写代码和学习”这一传统认识。并在1956年正式提出了“机器学习”这一概念。亚瑟·塞缪尔认为:“机器学习是在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域。”
有着“全球机器学习教父”之称的汤姆·米切尔(Tom Mitchell)则将机器学习定义为:对于某类任务(T)和性能度量(P),如果计算机程序在T上以P衡量的性能随着经验(E)而自我完善,就称这个计算机程序为从经验(E)学习。
如今,随着时间的变迁,机器学习的内涵和外延在不断地变化。从广义上来说,机器学习是一种能够赋予机器学习的能力以此来让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过数据训练出模型,再使用模型预测的一种方法。简单来说,机器学习就是通过算法使得机器能从大量历史数据中学习规律,从而对新的样本完成智能识别或对未来做出预测的技术。实际上,机器学习是对人类学习的模仿。众所周知,人类绝大部分智能获得也是需要通过后天的训练与学习,而不是天生的。在没有认知能力的婴幼儿时期,小孩子需要从外界环境不断得到信息,对大脑形成刺激,从而建立起认知的能力。而要给孩子建立“香蕉”“梨”这样的抽象概念,就需要反复地提及这样的词汇并将实物与之对应。经过长期训练之后,孩子的大脑中才能够形成与之对应的抽象概念和知识,并将这些概念运用于双眼看到的世界。
显然,人类在成长、生活过程中积累了很多的历史与经验,并定期地对这些经验进行“归纳”,获得了生活的“规律”。当人类遇到未知的问题或者需要对未来进行“推测”的时候,人类会使用这些“规律”,对未知问题与未来进行“推测”,从而指导自己的生活和工作。
机器学习就采用了类似的思路。比如,要让人工智能程序具有识别图像的能力,首先就要收集大量的样本图像,并标明这些图像的类别,是香蕉、苹果,或者其他物体。再通过算法进行学习(训练),训练完成之后得到一个模型,这个模型是从这些样本中总结归纳得到的知识。随后,就可以用这个模型来对新的图像进行识别。
机器学习中的“训练”与“预测”过程可以对应到人类的“归纳”和“推测”过程。由此可见,机器学习的思想并不复杂,其原理仅是对人类在生活中学习成长的一个模拟。由于机器学习不是基于编程形成的结果,因此它的处理过程不是因果的逻辑,而是通过归纳思想得出的相关性结论。
机器学习的方法,其实就是实现机器学习的算法。机器通过处理合适的训练集来学习,这些训练集包含优化一个算法所需的各种特征。而这个算法使机器能够执行特定的任务,例如对电子邮件进行分类。
目前,机器学习主要有监督式学习、无监督式学习、强化学习三类方法,监督式学习主要用于回归和分类,无监督式学习主要用于聚类。
监督式学习是从有标签训练集中学到或建立一个模式,并根据此模式推断新的实例。训练集由输入数据(通常是向量)和预期输出标签所组成。当函数的输出是一个连续的值时称为回归分析,当预测的内容是一个离散标签时,称为分类。个性化推荐系统就是一种典型的监督式学习。想象一下,你习惯在一个网络平台观看电影,平台记录了你以前观看过的电影,以及你是否喜欢它们。这些信息就是有标签的训练数据集。现在,平台想要提供给你一些建议,它需要创建一个智能模型来预测哪些电影你可能会喜欢。在监督式学习中,平台将使用你以前观看过的电影、电影类型、导演、演员等信息作为输入数据,同时将你是否喜欢这些电影的标签作为输出。随后,它会使用这个训练数据集来训练模型,使其能够理解你的喜好,并从中推断出你可能会喜欢哪些新电影。
无监督式学习是另外一种常用的机器学习方法,与监督式学习不同的是,它没有准确的样本数据进行训练。举个例子,我们去看画展,如果我们对艺术一无所知,是很难直接区分出艺术品的流派的。但当我们浏览完所有的画作,则可以有一个大概的分类,即使不知道这些分类对应的准确绘画风格是什么,也可以把观看过的某两个作品归为一个类型。这就是无监督式学习的流程,并不需要人力来输入标签,适用于聚类,把相似的东西聚在一起,而无须考虑这一类到底是什么。
强化学习是另外一种重要的机器学习方法,强调主体如何基于环境而行动,以取得最大化的预期利益。强化学习的过程就是智能体不断地与环境交互,从状态中选择动作,然后根据奖励来调整自己的行为策略,以达到最大化累积奖励的目标,比如小狗在不同的状态下选择不同的动作,然后根据是否得到饼干来调整自己是否坐下的概率。在这种模式下,输入的样本数据也会对模型进行反馈,但不像监督式学习那样直接显示正确的分类,强化学习的反馈仅仅检查模型的对错,模型会在接收到类似于奖励或者惩罚的刺激后,逐步做出调整。相比于监督式学习,强化学习更加专注于规划,需要在探索未知领域和遵从现有知识之间找到一个合理的平衡点。
机器学习是人工智能研究发展到一定阶段的必然产物,而深度学习则是机器学习进一步发展的必然结果。从机器学习和深度学习的关系来看,机器学习可以理解为是人工智能的一个分支,而深度学习则是机器学习中的一个子集。作为机器学习的一个分支,深度学习专注于使用人工神经网络模型来解决复杂的模式识别和数据分析任务。深度学习模型由多层神经网络组成,这些网络层之间的连接具有权重,模型通过学习这些权重来自动从数据中提取特征和模式,从而实现高级的数据分析和决策任务。
深度学习技术的发展,是伴随着机器学习的发展而不断深入的,大致可以分为五个时期。
第一个时期从20世纪50年代持续至70年代,由于在此期间研究人员致力于用数学证明机器学习的合理性,因此称为“推理期”。在此期间深度学习的雏形出现在控制论中,随着生物学习理论的发展与第一个模型的实现(感知机,1958年),其能实现单个神经元的训练,这是深度学习的第一次浪潮。
第二个时期从20世纪70年代持续至80年代,由于在这个阶段机器学习专家认为机器学习就是让机器获取知识,因此称为“知识期”,在此期间深度学习主要表现在机器学习中基于神经网络的连接主义。
第三个时期从20世纪80年代持续至90年代,这个时期的机器学习专家主张让机器“主动”学习,即从样例中学习知识,代表性成果包括决策树和BP神经网络,因此称这个时期为“学习期”。在此期间深度学习仍然表现为基于神经网络的连接主义,而其中BP神经网络的提出为深度学习带来了第二次浪潮。在此期间已经存在很好的算法,但由于数据量以及计算能力的限制导致这些算法并没有展现出良好的效果。
第四个时期从20世纪90年代持续至21世纪初,这时的研究者们开始尝试用统计的方法分析并预测数据的分布,因此称这个时期为“统计期”,这个阶段提出了代表性的算法“支持向量机”,而此时的深度学习仍然停留在第二次浪潮中。
第五个时期从21世纪初持续至今,神经网络再一次被机器学习专家重视,2006年辛顿(Hinton)及其学生拉斯·萨拉克赫迪诺弗(Ruslan Salakhutdinov)发表的论文《利用神经网络降低数据的维度》( Reducing the Dimensionality of Data with Neural Networks )标志着深度学习的正式复兴,该时期掀起深度学习的第三次浪潮,同时在机器学习的发展阶段中被称为“深度学习”时期。此时,深度神经网络已经优于与之竞争的基于其他机器学习的技术以及手工设计功能的AI系统。而在此之后,伴随着数据量的爆炸式增长与计算能力的与日俱增,深度学习得到了进一步的发展。
相较于传统的机器学习方法,深度学习在处理大规模和高维度的数据时会自动提取特征,以及在各种任务中表现出色。深度学习模型能够处理庞大的数据,从中提取有价值的信息。例如,对于图像、视频和文本数据,深度学习模型能够自动学习和理解其中的模式、特征和关联,这使得它在图像识别、语音识别、自然语言处理等任务中表现出色。
究其原因,一方面,深度学习模型通常由多个神经网络层组成,不同层面之间的连接具有权重。每一层都可以视为数据的不同抽象级别,逐渐从原始数据中提取更高级别的特征。对于大规模数据,这种分层表示允许模型逐渐构建更复杂的特征表示,从而更好地捕捉数据中的模式和关联。另一方面,深度学习模型通常有大量的可学习参数,这些参数可以适应各种数据。在大规模数据集上训练时,深度学习模型能够灵活地调整这些参数,以适应数据的多样性和复杂性。这意味着深度学习模型能够更好地拟合大规模数据,从而提高模型的性能。此外,深度学习具有自动特征提取的能力。传统的机器学习方法通常需要手工提取特征,这个过程需要专业知识和经验。而深度学习模型能够自动从原始数据中学习并提取特征,无须手动干预。这意味着它可以应对各种不同类型和复杂度的数据,从而减轻了特征工程的负担。
当前,深度学习已经在计算机视觉领域实现了卓越的图像识别和对象检测,如自动驾驶汽车、医疗影像分析和安全监控系统中的应用。在自然语言处理领域,深度学习模型能够进行文本分类、机器翻译、情感分析等任务,并取得了巨大的突破。深度学习还在强化学习领域表现出色,使计算机能够在复杂的环境中学习和制定策略,AlphaGo在围棋中战胜人类世界冠军就是一个经典例子。
在过去二十年中,人类收集、存储、传输、处理数据的能力取得了飞速提升,人类社会的各个角落都积累了大量数据,亟须能有效地对数据进行分析利用的计算机算法,而机器学习恰好顺应了大时代的这个迫切需求,因此该学科领域很自然地取得巨大发展、受到广泛关注。
今天,在计算机科学的诸多分支学科领域中,无论是多媒体、图形学,还是网络通信、软件工程,乃至体系结构、芯片设计,都能找到机器学习的身影,尤其是在计算机视觉、自然语言处理等“计算机应用技术”领域,机器学习已成为最重要的技术进步源泉之一。
机器学习还为许多交叉学科提供了重要的技术支撑。生物信息学试图利用信息技术来研究生命现象和规律,生物信息学研究涉及从“生命现象”到“规律发现”的整个过程,其间必然包括数据获取、数据管理、数据分析、仿真实验等环节,而“数据分析”恰使机器学习大放异彩。
可以说,机器学习是统计分析时代向大数据时代发展必不可少的核心环节,是开采大数据这一新“石油”资源的工具。比如,在环境监测、能源勘探、天气预报等基础应用领域,通过机器学习,加强传统的数据分析效率,提高预报与检查的准确性。再如销售分析、画像分析、库存管理、成本管控以及推荐系统等商业应用领域。
机器学习让即时响应、迭代更新的个性化推荐变得更为轻松,渗透至人们生活的方方面面。
谷歌、百度等互联网搜索引擎极大地改变了人们的生活方式,互联网时代下人们习惯于在出行前通过互联网搜索来了解目的地信息、寻找合适的酒店、餐馆等,其体现的,正是机器学习技术对于社会生活的赋能。显然,互联网搜索是通过分析网络上的数据来找到用户所需的信息,在这个过程中,用户查询是输入,搜索结果是输出,而要建立输入与输出之间的联系,内核必然需要机器学习技术。可以说,互联网搜索发展至今,机器学习技术的支撑作用居功至伟。
如今,搜索的对象、内容日趋复杂,机器学习技术的影响更为明显。在进行“图片搜索”时,无论谷歌还是百度都在使用最新潮的机器学习技术。谷歌、百度、脸书、雅虎等公司纷纷成立专攻机器学习技术的研究团队,甚至直接以机器学习技术命名的研究院,充分体现出机器学习技术的发展和应用,甚至在一定程度上影响了互联网产业的走向。
最后,除了机器学习成为智能数据分析技术的创新源泉外,机器学习研究还有另一个不可忽视的意义,即通过建立一些关于学习的计算模型来促进人们理解“人类如何学习”。在20世纪80年代中期,彭蒂·卡内尔瓦(Pentti Kanerva)提出SDM(Spare Distributed Memory,稀疏分布式存储器)模型,当时,卡内尔瓦并没有刻意模仿脑生理结构,但后来神经科学的研究发现,SDM的稀疏编码机制在视觉、听觉、嗅觉功能的脑皮层中广泛存在,从而为理解脑的某些功能提供了一定的启发。
自然科学研究的驱动力归结起来无外是人类对宇宙本源、万物本质、生命本性、自我本识的好奇,而“人类如何学习”无疑是一个有关自我本识的重大问题。从这个意义上说,机器学习不仅在信息科学中占有重要地位,还具有一定的自然科学探索色彩。