下载掌阅APP，畅读海量书库
立即打开
自然语言处理（Natural Language Processing，NLP）是人工智能的核心领域之一，致力于赋予计算机理解、生成和推理人类语言的能力。近年来，以Transformer架构为核心的大语言模型（Large Language Model，LLM）通过自注意力机制和预训练范式彻底革新了自然语言处理技术体系。从基于词嵌入的静态表示到动态上下文感知的语义建模，从序列到序列的翻译框架到具备零样本学习能力的生成系统，大语言模型在机器翻译、情感分析、对话交互等任务中展现出前所未有的泛化能力。然而，语言固有的歧义性、逻辑推理的复杂性与生成内容的可控性等问题仍然需要通过语法解析、强化学习对齐、解码策略优化等关键技术进行突破。
本书系统阐述从自然语言处理传统技术到深度学习技术的演进脉络，并深入探讨预训练、注意力机制、基于人类反馈的强化学习（RLHF）等支撑大语言模型的核心要素。在传统技术层面，本书深入解析 N -gram语言建模、词袋模型与TF-IDF权重计算，并对比Word2Vec与GloVe等静态词向量的表征差异；在深度学习领域，本书着重剖析以Transformer为核心的大语言模型架构——通过自注意力机制实现动态上下文建模，借助预训练范式（如BERT的双向编码和GPT的自回归生成）突破传统序列模型的局限。本书不仅涵盖循环神经网络和长短期记忆网络等时序建模基础，而且结合前沿的RLHF对齐策略、子词切分技术和解码器优化方法，揭示生成式大语言模型的实现原理与面临的技术挑战。
涵盖技术演进的完整脉络：
系统梳理从
N
-gram、词袋模型到Transformer架构的技术迭代，既包含词嵌入、句法解析等传统方法，又详解BERT和GPT等大语言模型的预训练范式与自注意力机制，兼顾知识深度与体系完整性。
详解分层递进的知识架构：
以词向量、依存句法分析为认知起点，从循环神经网络和长短期记忆网络时序建模过渡到Transformer架构，最终延伸至RLHF对齐策略，从而构建符合认知规律的渐进式学习路径。
算法原理与代码实现并重：
在理论推导中结合Python代码实现案例，同步提供数据预处理、子词切分、模型蒸馏等实践指南，从而强化从理论知识到应用落地的转化能力。
聚焦大语言模型技术闭环：
深入剖析大语言模型的全生命周期，涵盖模型的预训练、微调、部署与对齐等关键技术环节，揭示ChatGPT等模型的实现逻辑。
强化生成任务的技术纵深：
详解自然语言生成技术，对比贪心搜索和集束搜索等解码策略，分析温度系数调控和重复惩罚等生成控制方法，并探讨幻觉生成的检测与治理方案。
第1篇 自然语言处理基础与词表示
第1章介绍自然语言处理基础与词嵌入技术，涵盖词袋模型、词向量原理、词嵌入方法（Word2Vec和GloVe）、词嵌入方法的比较、词向量评估方法等。
第2章介绍神经网络基础，涵盖神经网络的单元结构、前馈计算、最大间隔目标函数、反向传播、神经网络的算法实现、神经网络的激活函数、数据预处理、参数初始化、梯度下降优化算法、神经网络的验证与调整方法等。
第3章介绍朴素贝叶斯分类器在情感分类中的作用，涵盖文本分类的基本概念和朴素贝叶斯分类器的相关知识，如词袋模型的概念、朴素贝叶斯分类器的训练、文本分类任务的评估方法、多类别分类评估方法、交叉验证、统计显著性检验和配对Bootstrap检验等。
第4章介绍语言建模任务和 N -gram模型，涵盖语言建模与 N -gram模型的基本知识，以及 N -gram模型的评价方法和主要问题及其解决方法。
第2篇 语言结构与句法解析
第5章介绍上下文无关语法和成分解析，涵盖句法分析的意义、上下文无关语法、树库、语法等价性和范式、句法解析器、结构歧义、CKY解析、概率上下文无关文法、最佳优先概率解析、解析的评价方法等。
第6章介绍依存句法分析，涵盖构成成分和依存结构的区别与联系、依存结构的基本概念、依存关系的确立、基于转移的依存句法分析、神经网络依存句法分析器等。
第3篇 序列建模与深度学习方法
第7章介绍循环神经网络的构建，涵盖神经概率语言模型简介，以及循环神经网络的原理、评估与优化策略。
第8章介绍长短期记忆网络与门控循环单元，涵盖其基本原理、工作机制、梯度问题的解决、算法实现和参数调优策略等。
第9章介绍序列到序列模型，涵盖机器翻译概述、序列到序列模型的基本原理与实现、结合注意力机制和序列到序列模型的评估方法。
第10章介绍注意力机制与Transformer架构，涵盖注意力机制的基本原理、局限性与改进，以及Transformer的关键组件、编码器与解码器结构、应用场景、发展趋势等。
第4篇 大语言模型与生成技术
第11章介绍自然语言生成，涵盖自然语言生成的任务类型、解码过程、遇到的问题及其解决方案、训练过程、评估指标、评价方法和伦理问题等。
第12章介绍大语言模型预处理与基于人类反馈的强化学习，涵盖字词模型、整体模型训练、编码器的预训练方法、编码器-解码器的预训练方法、解码器的预训练方法和大语言模型的优化方法等。
自然语言处理初学者与进阶者；
自然语言处理从业人员；
对自然语言处理感兴趣的人员；
对大语言模型感兴趣的人员；
人工智能技术爱好者；
高等院校人工智能专业的学生；
相关培训机构的学员。
本书提供完整的案例代码，方便读者实践。读者可以通过两种方式获取：一是关注微信公众号“方大卓越”，回复数字“52”自动获取下载链接；二是在清华大学出版社网站（www.tup.com.cn）上搜索到本书，然后在本书页面上找到“资源下载”栏目，单击“网络资源”按钮进行下载。
虽然笔者对本书内容已进行多次核对，但因水平所限，难免还存在疏漏与不足之处，恳请广大读者批评与指正。读者在阅读本书时若有疑问，可发送电子邮件获取帮助，邮箱地址为bookservice2008@163.com。
同时，欢迎读者对本书提出意见或建议，以便笔者后续不断优化和完善内容。希望本书能够帮助读者在自然语言处理和大语言模型技术的学习道路上取得突破，从而不断提升自己的理论水平与应用能力。
杨灵玑
2025年6月