第2章
为什么将编程作为ChatGPT的训练载体

从本章开始，我们将深入探讨ChatGPT的训练过程，通过实践案例，让读者学习如何利用ChatGPT提高办公效率。ChatGPT作为一种大型语言模型，通过不断接收和处理各类输入数据来学习和提升自身的能力。那么，为什么我们需要对ChatGPT进行训练呢？原因在于自然语言的复杂性，不同的语境和表达方式会对ChatGPT的理解和应答产生不同程度的影响。因此，通过训练，ChatGPT能够不断提高自己的智能水平和语言处理能力。

为了实现这一目标，我们选择将编程作为ChatGPT的主要训练载体。编程语言具有严谨性、规范性和逻辑性，这些特点有助于ChatGPT更加深入地理解和运用语言知识，从而加强其语言逻辑能力和表达能力。此外，编程没有模棱两可的答案，这使得我们在训练过程中能够更加明确地评估训练效果。

2.1 为什么ChatGPT这类AI工具需要训练

正如我们在前面提到的，ChatGPT提供的答案取决于所提问题的水平以及“投喂”语料的水平。此外，对于提问模糊或不了解的领域，ChatGPT会给出一些符合通用规律但实际上完全错误的答案，而且它的表现非常自信。这就是我们在使用类ChatGPT产品时，需要对其进行训练的原因。

那么如何训练ChatGPT，使其能提供优质且符合我们需求的答案呢？

在回答这个问题之前，我们先了解一下ChatGPT工具是如何被训练出来的。此前，ChatGPT官方网站提供了ChatGPT的三步训练流程图，如图2-1所示。

（1）监督学习： 为了让ChatGPT能够学会正确回答问题，科学家们首先请来了“提示词工程师”思考问题并提供高质量的答案。接着，将这些人工标注好的数据输入到ChatGPT中，使其了解人类的喜好，并模仿学习。

（2）训练奖励模型： 在这个阶段，“提示词工程师”对生成的答案进行评分和排序。工程师们收集了大量的人工标注数据集，包括问题、正确答案和人类对答案的评分，用以训练ChatGPT。通过为每个答案提供评分反馈，ChatGPT逐渐学会理解人类的深层意图，并优先选择得分较高的答案。

（3）强化学习-自我进化： 在此阶段，ChatGPT会自动检查学习成果并进行调整。在新数据集上进行验证，根据验证结果进行调整和更新。通过不断迭代训练，ChatGPT的性能逐步提升，最终成为一个越来越聪明的“机器人”。

我们的目标不是成为人工智能专家，而是简单了解ChatGPT的运行原理，以便更好地利用这个工具。我们在使用ChatGPT时，可以利用这个思路对prompt（提示词）进行限定训练，从而帮助ChatGPT更加精准地回答问题。

（1）提示描述

通过使用prompt，用户可为ChatGPT指定需回答的问题类型、主题，同时提供关键词和背景信息，从而帮助其更好地理解问题。例如，对于问题“什么是量子力学？”，prompt可设为：“请用简单的语言解释量子力学的基本原理和应用。”这样，ChatGPT便能更准确地回答问题。在问答系统中，用户可设置prompt以引导ChatGPT回答特定类型的问题，例如：“请根据以下句子回答问题：xxxx。”这将使ChatGPT更专注于解决该类问题，并给出更准确的答案。

（2）随时调整

用户还可根据ChatGPT的回答情况随时调整prompt，以便更好地引导其回答问题。例如，若ChatGPT的回答未触及问题关键点，用户可通过prompt要求其重新回答问题；若回答冗长或令人难懂，可修改prompt，使答案更简洁、易懂。在翻译系统中，用户可在prompt中提供目标语言的结构和语法规则，以帮助ChatGPT更好地翻译句子。例如，将中文句子翻译成英文时，prompt可包含英语的正确语序和语法规则，以提高翻译的准确性。

（3）强化训练

用户可利用强化训练方式，通过对ChatGPT回答的质量进行评分，从而提高其回答问题的准确性。如在聊天机器人应用中，若ChatGPT的回答获得积极反馈，系统可给予更高分数的奖励，助其更好地理解和回答问题。在写作助手场景中，用户可在prompt中提供示例文本，引导ChatGPT撰写更优质的文章。例如，输入标题并在prompt中提供若干例句，指导ChatGPT保持一致的风格和语气。

（4）根据需求多“投喂”

用户可根据需求多样化地“投喂”，从而提升ChatGPT的回答精度和效率。如在医疗问答应用中，若想让ChatGPT更好地理解医学术语或回答特定的问题，系统可提供更多针对性的训练数据，助力ChatGPT学习并精准回答问题。在自动化客服场景中，用户可设置prompt，以帮助ChatGPT更好地理解用户的问题并给出准确的答案。例如，用户可以在prompt中提供常见问题的示例，并告诉ChatGPT如何分类和回答这些问题，以提高客服的效率。如图2-2所示。

综上所述，利用prompt限定训练可提高ChatGPT理解与回答问题的效率。而利用随时调整、强化训练和多样化的“投喂”等方法，则有助于ChatGPT更好地学习并适应不同类型的问题，从而提升回答的质量。 QgK1elb/5FfYmPtD7G4hMELkC31PtnqaLUAAXjWzLzfwRr0pi57KZU9vTPEick+u