下载掌阅APP，畅读海量书库
立即打开
大型预训练模型是一种在大规模语料库上预先训练的深度学习模型，它们可以通过在大量无标注数据上进行训练来学习通用语言表示，并在各种下游任务中进行微调。预训练模型的主要优势是可以在特定任务上进行微调，并且可以在多个任务上进行迁移学习，从而提高了模型的训练速度和效率。
数据集的构造对于大型语言模型的微调至关重要。大型语言模型通常需要大量的数据来训练，以便更好地理解和处理复杂的任务。本章将通过分别介绍基于Self-Instruct及结构化知识的数据构造方法来提升大型语言模型微调阶段的数据质量。
对于预训练模型，分词器（tokenizer）分词是非常重要的一步。分词器将输入的原始文本转化为模型可以处理的数字序列，并且将这些数字序列分为token（标记）和segment（分段）等。我们将从分词器入手，介绍大型语言模型预训练的常用分词方法，如WordPiece、BPE（Byte Pair Encoding，字节对编码）等。
随着模型参数规模的扩大，微调和推理阶段的资源消耗也在增加。在模型微调时，除了加载训练参数外，还需要大量显存存储梯度和优化器信息。因此，资源消耗情况会随着训练参数规模的扩大而不断增加。针对这一挑战，可以通过优化模型结构和训练策略来降低资源消耗，本章也将详细介绍多种高效参数调优的方法。
最后我们将结合LLaMA预训练模型进行微调实战。