前言

多Transformer的双向编码器表示法 （Bidirectional Encoder Representations from Transformers，BERT）已经彻底改变了 自然语言处理 （natural language processing，NLP）领域，并取得了大量成果。本书是一本入门指南，它将帮助你学习并掌握谷歌的BERT架构。

首先，本书将详细讲解Transformer架构，让你理解Transformer的编码器和解码器的工作原理。然后，你将掌握BERT模型架构的每一部分，同时了解如何进行模型的预训练，以及如何通过微调将预训练的结果用于下游任务。随着本书的深入，你将学习BERT模型的不同变体，如ALBERT模型、RoBERTa模型、ELECTRA模型和SpanBERT模型，并了解基于知识蒸馏的变体，如DistilBERT模型和TinyBERT模型。本书还将详细讲解M-BERT模型、XLM模型和XLM-R模型的架构。接着，你将了解用于获取句子特征的Sentence-BERT模型和一些特定领域的BERT模型，如ClinicalBERT（医学）模型和BioBERT（生物学）模型。最后，本书还将介绍一个有趣的BERT模型变体，即VideoBERT模型。

通读本书后，你将能够熟练使用BERT模型及其变体来执行实际的自然语言处理任务。

本书适用人群

本书适用于希望利用BERT模型超强的理解能力来简化自然语言处理任务的专业人士，以及对自然语言处理和深度学习感兴趣的所有人士。为充分理解本书中的术语和知识点，你需要对自然语言处理相关概念和深度学习有基本的了解。

本书内容

第1章　Transformer概览

这一章将详细讲解Transformer模型，通过深入解析Transformer的编码器和解码器的组成部分来帮助你理解其工作原理。

第2章　了解BERT模型

这一章将讲解BERT模型。你将学习两种预训练任务—— 掩码语言模型构建 和 下句预测 ——对BERT模型进行预训练，还将了解几种有趣的子词词元化算法。

第3章　BERT实战

这一章将讲解如何使用预训练的BERT模型提取上下文关联句子和词嵌入向量，以及如何根据下游任务（如问题回答、文本分类等）来微调预训练的BERT模型。

第4章　BERT变体（上）：ALBERT、RoBERTa、ELECTRA和SpanBERT

这一章将介绍BERT的几个变体：ALBERT、RoBERTa、ELECTRA和SpanBERT。你将学习BERT变体与BERT的区别以及它们的应用。

第5章　BERT变体（下）：基于知识蒸馏

这一章将讲解基于知识蒸馏的BERT模型，如DistilBERT和TinyBERT。你将学习如何将知识从一个预训练的BERT模型迁移到一个简单的神经网络。

第6章　用于文本摘要任务的BERTSUM模型

这一章将讲解如何为文本摘要任务微调预训练的BERTSUM模型。你将了解如何为提取式摘要任务和抽象式摘要任务微调BERT模型。

第7章　将BERT模型应用于其他语言

这一章涉及将BERT应用于非英语的语言，并将详细论证BERT在多语种中的有效性。你将了解几个跨语言的模型，如XLM和XLM-R。

第8章　Sentence-BERT模型和特定领域的BERT模型

这一章将讲解用来获得句子特征的Sentence-BERT模型。你将学习如何使用预训练的Sentence-BERT模型，还将了解特定领域的BERT模型，如ClinicalBERT模型和BioBERT模型。

第9章　VideoBERT模型和BART模型

这一章将介绍VideoBERT这一有趣的BERT变体，还将介绍名为BART的模型。此外，你将了解两个流行的代码库，即ktrain库和bert-as-service库。

学以致用

为了更好地学习本书，请使用Google Colab 1 运行本书中的代码。

1 也可用Jupyter Notebook替代。——译者注

下载示例代码

你可以从图灵社区本书主页下载本书的示例代码。

排版约定

本书使用了一些特定文本格式来标识特有名词和代码。

等宽字体用来表示文本中的代码、数据库表名、变量名和用户输入，举例如下：“我们将设置 maxlen 为 100 、 max_features 为 100000 。”

对应的代码块如下。

(x_train, y_train), (x_test, y_test), preproc = \
text.texts_from_df(train_df = df,
                   text_column = 'reviewText',
                   label_columns=['sentiment'],
                   maxlen=100,
                   max_features=100000,
                   preprocess_mode='bert',
                   val_pct=0.1)

黑体用来表示新的术语、重要的词或屏幕上的选项。例如，菜单或对话框中的选项会像这样出现在文本中：“从管理面板上选择 系统信息。 ”

此图标表示警告或重要说明。

联系我们

我们一直倾听读者的反馈。

反馈：如果你对本书的任何方面有疑问，请发电子邮件至 customercare@packtpub.com ，并在邮件标题中写出对应书名。

勘误表 ：尽管我们已经竭尽所能确保内容的准确性，但书中难免还是会有错误。如果你发现本书有错误，敬请指出，我们将不胜感激。 2

2 提交中文版勘误，请访问图灵社区本书主页。——编者注

盗版举报 ：如果你在互联网上发现以任何形式非法复制Packt出版物的情况，请将盗版链接发至 copyright@packt.com ，万分感谢你对正版的支持。

如果有兴趣成为一名作家 ：如果你对某一主题有专长，并有兴趣撰写一本书或参与一本书的出版工作，请访问 authors.packtpub.com 。

评价

Packt欢迎各种形式的评价。一旦你阅读并使用本书，请在你购买本书的网站上留下宝贵的评价。这样做可以让我们了解你对本书的看法，作者也可以得到你的反馈，并且潜在读者可以通过参考公正客观的意见来做出购买决定。感谢你的支持！