下载掌阅APP，畅读海量书库
立即打开
论文“Attention is All You Need”是Transformer模型的开创之作，提出了一种全新的序列建模方式——自注意力机制（Self-Attention Mechanism）。自注意力机制是一种用于捕捉输入序列中依赖关系的技术，能够在不同位置之间建立长距离依赖。其核心在于，模型针对输入序列中的每个位置计算出一个权重，用以反映该位置与其他位置的依赖关系。该机制使模型能够在不同位置间捕捉长距离依赖，从而更好地处理序列数据中的依赖关系。其模型的架构如图2-1所示。
Transformer模型由编码器和解码器两部分组成。编码器由多个相同层堆叠而成，每层包括一个多头注意力机制（Multi-Head Attention Mechanism）和前馈神经网络（Feed-Forward Neural Network）。解码器也由多个相同层堆叠而成，每层包括多头注意力机制、前馈神经网络和编码器-解码器注意力机制。编码器与解码器之间通过残差连接和层归一化相连。该模型结构设计能够有效捕捉输入序列中的依赖关系，从而提升模型的表达能力。
Transformer模型的成功离不开以下7个关键的技术创新。
词嵌入（Word Embedding）是Transformer模型的核心技术之一，能够将输入序列中的每个词转换为向量，用以表示该词的语义信息。词嵌入的核心思想在于，模型为输入序列中的每个词生成一个向量，并将这些向量组合起来，表示输入序列的语义信息。词嵌入的设计使模型能够更好地捕捉输入序列中的语义特征，从而提升模型的表达能力。
由于Transformer模型不包含任何与位置相关的递归关系，因此需要一种方法来表示输入序列中的位置信息。位置编码（Positional Encoding）是一种用于表示输入序列中位置信息的技术，能够为序列中的每个位置生成一个位置向量，以表示该位置的位置信息。位置编码是Transformer模型中不可或缺的一部分，弥补了其不具备递归结构的缺陷。
自注意力机制是Transformer模型的核心，其核心思想是：对于输入序列中的每个位置，模型计算一个权重，用以表示该位置与其他位置的依赖关系。该机制使模型能够在不同位置之间捕捉长距离依赖关系，从而更好地理解序列数据中的依赖结构。
多头注意力机制是自注意力机制的扩展，能够更有效地捕捉输入序列中的依赖关系。其核心思想是：模型计算多个不同的自注意力得分，并将这些得分合并，以表示输入序列中不同位置之间的依赖关系。多头注意力机制的鲁棒性和可扩展性使其能够增强模型的稳定性，并可扩展至其他类型的注意力机制。
图2-1 Transformer模型的架构
前馈神经网络是Transformer模型的核心组件之一，能够对输入序列的每个位置进行非线性变换。前馈神经网络的核心思想是对输入序列的每个位置进行非线性变换，并将这些变换结果整合，以表示输入序列的特征信息。前馈神经网络的灵活性使其能够与其他类型的网络层结合，实现更复杂的功能。
残差连接是Transformer模型中的核心设计之一，能够提高模型的训练效率。其核心思想是：模型将输入序列中每个位置的输入与输出相加，并将相加结果作为下一层的输入。此设计使模型能够更好地捕捉输入序列中的特征信息，从而提升训练效率。
层归一化是Transformer模型中的核心技术之一，能够提高模型的训练效率。其核心思想是：模型对输入序列中的每个位置进行归一化处理，并将归一化后的结果作为下一层的输入。此设计被广泛应用于编码器和解码器的各个子层中，以提高模型对不同长度序列的处理能力和泛化性能。