下载掌阅APP，畅读海量书库
立即打开
尽管LLM凭借其对人类语言的出色理解能力已在多个领域广泛应用，但它们仍然存在一定的局限性，主要体现在幻觉、上下文长度限制和知识局限等方面。
幻觉是指LLM输出与实际事实不符或没有来源的错误信息。产生这一现象的原因有以下几个。
● 语料库偏差：训练语料库中可能包含不正确的事实描述。
● 数据不足：某些特定领域的知识和经验因训练数据不足而未能充分学习。
● 过度生成：在缺乏明确指示或约束条件下，模型可能会生成看似合理但实际上不真实的超预期内容。
● 模糊输入：问题或任务描述不够清晰，导致歧义。
了解幻觉产生的原因后，我们可以更清楚地识别其表现形式，以下是常见的几种。
● 输入冲突幻觉：LLM生成的内容与用户提供的源输入相矛盾。
● 上下文冲突幻觉：生成的内容与其自身之前生成的上下文信息不符。
● 事实冲突幻觉：生成的内容违背已知的事实，即所谓的“一本正经的胡说八道”。
这些幻觉现象会损害用户对LLM输出的信任。如果无法准确判断LLM生成内容的真实性，我们可能会接收错误的信息，进而影响决策过程和判断。
LLM应用的局限性还体现在对话的上下文长度处理上。现有的LLM在处理长文本时存在一定的局限，这主要归因于它们大多基于Transformer模型构建。尽管Transformer模型显著推动了自然语言处理技术的发展，但其自身也存在一些局限性。
具体而言，在处理超长上下文时，Transformer模型难以保持对所有相关部分的记忆，导致分析和输出内容可能出现不完整或错误的情况。此外，随着文本长度的增加，Transformer模型所需的计算资源呈指数级增长。因此，出于成本和效能的考量，当前大多数LLM所支持的上下文长度较为有限。
这种上下文长度的限制，影响了LLM在实现持续且连贯的聊天功能时的效果，成为制约其应用表现的一个重要因素。
这一点较为直观：LLM的知识来源于预训练数据，而这些数据主要来自互联网上的公开语料及人类历史上累积的公共信息，仅代表了人类产生数据的一部分。非公开的企业级私有数据并未包含在内，这导致LLM无法胜任所有任务，尤其是在高度专业化的领域。
此外，由于对公开数据的训练存在滞后性，LLM应用还面临知识时效性的限制。随着新知识的不断涌现，LLM完成预训练后所固化的知识可能很快变得过时。一旦人类知识更新，旧的知识不再准确，LLM便无法自行更新或剔除这些信息，必须等到下一次版本迭代时通过识别和更新相关训练数据来纠正。对于实时性要求较高的应用场景，这种机制显然无法满足用户需求，因此需要引入新的技术体系以实现及时的知识更新和维护。