大模型（LLM）完全入门指南

📖 关键概念详解百科

下面不是"一句话速查"，而是每个概念的完整讲解。每一个术语都按照"是什么 → 为什么重要 → 和什么有关 → 举个例子"的结构来展开。如果你在技术大会上被人问到某个概念，翻到这里就对了。

共 29 个核心概念，分为 基础概念 / 训练相关 / 架构相关 / 推理与生成 / 前沿话题 五个板块。点击每个条目展开详细解释。

板块一：基础概念（8个）—— 先搞清楚"是什么"

1. 模型（Model）—— 所有AI的基石

是什么：在计算机的世界里，"模型"就是一个从大量数据中学到了某种规律的系统。给它一个输入，它能根据学到的规律产生一个输出。它不是数据库——不存储原文，存储的是"规律和模式"。

为什么重要：这是理解一切AI技术的最基础概念。当你听到有人说"这个模型很强"或"模型崩了"，他们指的就是这个东西。没有模型这个概念，后面所有的讨论都无法进行。

和其他概念的关系：模型由参数构成，通过训练获得能力，通过推理来使用。模型是最终产物，其他所有概念都是为了"造出更好的模型"或"更好地使用模型"。

举个例子：地球仪是一个"地球的模型"——它抓住了大陆形状、海洋位置的规律，忽略了地形高度等细节。

2. 参数（Parameter）—— 模型的"脑细胞"

是什么：参数是模型内部可以调整的数字旋钮。如果把模型比作一个巨大的"配方"，参数就是这个配方里每一项原料的用量。这些数字不是人手工设置的，而是模型在训练过程中自己调整出来的。每个参数存储了一点点"知识"，几百亿个参数合在一起，就构成了模型对世界的理解。

为什么重要：参数的数量（参数量）是衡量模型规模和能力的最直观指标。参数量越大，模型能学到的规律就越精细、越复杂。但同时，更多的参数也意味着更高的计算成本和更慢的响应速度。

和其他概念的关系：参数通过训练过程被不断调整；Scaling Laws研究了参数数量和性能的关系；量化技术试图用更少的存储空间来表示这些参数。

举个例子：GPT-3 有 1750 亿个参数。如果每个参数是一个 4 字节的浮点数（一种数值存储方式），光是存储这些参数就需要约 700GB 的空间——比大多数电脑的硬盘还要大。GPT-4 的参数量更大，据推测超过 1 万亿。

3. 大语言模型（LLM, Large Language Model）—— "大模型"的全称

是什么：大语言模型是参数数量达到数百亿甚至数万亿级别的、专门处理文本语言的深度学习模型。ChatGPT、Claude、Gemini、文心一言、通义千问，这些你听过的名字，本质上都是大语言模型。

为什么重要：LLM 是当前 AI 浪潮的核心驱动力。它展现出了此前任何技术都没有的"通用性"——同一个模型可以做翻译、写代码、写诗、做数学题、分析法律文件……这种通用性让它不再是"一个工具"，而更像一个"平台"。

和其他概念的关系：LLM 是大模型家族中最具代表性的一员。它基于Transformer架构，使用自回归生成方式输出内容。与之并列的还有视觉模型、语音模型、多模态模型等。

举个例子：你可以让同一个 LLM 做三件完全不同的事——"翻译这段英文"、"写一个Python冒泡排序"、"用小学生能听懂的话解释光合作用"——它都能做，而且质量不错。

4. 预训练（Pre-training）—— 模型"上学"的过程

是什么：预训练是模型训练的第一个也是最重要的阶段。简单来说，就是把海量的公开文本（网页、书籍、论文、百科、代码……）"喂"给模型，让模型做"完形填空"——每次遮住一个词，让模型去猜。猜对了就加强相关的参数连接，猜错了就调整。这个过程重复几万亿次。

为什么重要：预训练决定了模型的"知识基础"。这个阶段花费巨大（训练 GPT-4 级别的模型可能耗费数千万美元），但一旦完成，模型就获得了通用的语言理解和知识能力。之后的微调和 RLHF 只是在这个基础上做"装修"。

和其他概念的关系：预训练完成后得到基座模型（Base Model），再经过有监督微调（SFT）和RLHF变成可用的对话助手。预训练数据的质量和多样性直接影响最终模型的能力上限。

举个例子：这就像让一个人读了几乎所有的书（几百万本），他虽然还不会"和人聊天"，但脑子里已经存储了海量的知识和语言模式。后面只需要教他"如何对话"就行了。

5. 世界模型（World Model）—— 让 AI 理解"现实世界怎么运作"

是什么：世界模型是一种试图理解物理世界因果规律的 AI 模型。普通的语言模型知道"杯子掉在地上会碎"是因为它在文本中读到过这句话。但世界模型的目标是：它内部有一个对重力、材质、碰撞等物理规律的"直觉理解"，能自己推理出"杯子会碎"这个结果。

为什么重要：世界模型被认为是通往AGI（通用人工智能）的关键一步。因为真正的智能不只是会说话，而是要能理解真实世界的运作方式。自动驾驶、机器人、科学模拟等领域都高度依赖世界模型的研究进展。

和其他概念的关系：世界模型是比语言模型更宏大的目标。它可能需要结合多模态模型的能力（同时理解视觉、声音、物理信号），并具备推理和因果理解能力。

举个例子：如果你问一个世界模型"把这个积木塔最下面那块抽走会怎样？"，它不仅会回答"塔会倒塌"，而且它"脑海里"能模拟出倒塌的过程——哪块先倒、往哪个方向倒。这不是从文本中学到的，而是从对物理世界的理解中推理出来的。

6. 多模态模型（Multimodal Model）—— 能"看"会"听"的 AI

是什么：多模态模型是能同时理解和处理多种信息类型的 AI 模型。"模态"就是信息的类型——文字是一种模态，图片是另一种，声音、视频、3D 模型等也都是不同的模态。GPT-4V、Gemini 就是典型的多模态模型——你可以给它看一张图片，问它"这张图里有什么不合理的地方"。

为什么重要：人类感知世界本来就是多模态的——我们同时用眼睛看、耳朵听、手去触摸。如果 AI 只能处理文字，那它对这个世界的理解就是不完整的。多模态让 AI 更接近人类的感知方式。

和其他概念的关系：多模态模型通常结合了语言模型和视觉模型（或语音模型）的能力。它是迈向世界模型的重要中间步骤。

举个例子：你拍了一张冰箱内部的照片发给了多模态 AI，然后问"根据冰箱里的食材，我可以做什么晚餐？"。AI 需要先"看懂"图片里有什么食材（视觉理解），再"想出"适合的菜谱（语言推理），这就是多模态的典型应用。

7. 提示工程（Prompt Engineering）—— 学会向 AI "提问"

是什么：提示工程就是设计和优化输入给模型的文字指令，以获得更高质量、更精准的输出。它不需要修改模型本身，只改变"怎么问"。好的提示就像好的"需求文档"——越清晰、越具体，得到的交付物就越好。

为什么重要：对大多数人来说，提示工程是最实用的技能——你不需要懂代码，不需要会训练模型，只要学会怎么提问，就能大幅提升使用 AI 的效果。在企业项目中，好的提示设计也是低成本提升效果的首选方法。

和其他概念的关系：提示工程是使用LLM的最基本方式。当提示中包含"请一步步思考"时，就触发了思维链。当提示中包含检索到的外部资料时，就成了RAG的一部分。

举个例子："写一篇关于环保的文章"和"你是一位环保专家，请写一篇面向中学生的 800 字科普文章，介绍塑料污染的三大危害，语言要生动有趣，多举生活化的例子"——同样的模型，后者的输出质量会明显更高。

8. 微调（Fine-tuning）—— 给模型"开小灶"

是什么：微调是在预训练模型的基础上，用特定领域的数据对模型进行进一步训练。它不是从头训练一个新模型，而是在已有的"通才"基础上，培养一个"专才"。微调所需的数据量比预训练少得多（几万条而非几万亿条），成本也低得多。

为什么重要：通用模型在某些垂直领域（医疗、法律、金融、代码）的表现可能不够好。微调让企业能用自己领域的专业数据，把通用模型改造成领域专家。同时也解决了数据安全问题——可以用内部数据微调开源模型，然后部署在自己的服务器上。

和其他概念的关系：微调是预训练之后的第二阶段。和RAG不同，微调是改变模型本身，而 RAG 是在模型外部挂一个知识库。两者可以互补使用。

举个例子：一家医院用几万份脱敏的电子病历微调了一个开源模型，微调后的模型在解读医学影像报告时，准确率远高于通用模型。这就是"通才变专才"。

板块二：训练相关（5个）—— 模型是怎么"学"出来的

9. 有监督微调（SFT, Supervised Fine-Tuning）—— 教模型"怎么对话"

是什么：SFT 是训练三阶段中的第二阶段。预训练完成后，模型会"接话"但不会"对话"——你问它一个问题，它可能继续写你的问题而不是回答你。SFT 用几万到几十万条人工编写的"标准问答对"来教模型：什么是问题、什么是回答、如何遵循指令、如何在不知道时说"我不知道"。

为什么重要：SFT 是模型从"语言引擎"变成"对话助手"的关键转折。没有 SFT，就没有 ChatGPT 那样的对话体验。它让模型学会了"以助手的方式行事"。

和其他概念的关系：SFT 在预训练之后、RLHF之前。它提供的是"示范"（人类展示好的回答长什么样），而 RLHF 提供的是"反馈"（人类评判哪个回答更好）。

举个例子：一个基座模型收到"法国的首都是什么？"，可能会续写成"法国的首都是什么？法国位于欧洲西部……"（像在续写一篇文章）。经过 SFT 后，它会回答"法国的首都是巴黎。"——学会了"回答"这个行为模式。

10. RLHF（基于人类反馈的强化学习）—— 让模型"懂分寸"

是什么：RLHF 全称是 Reinforcement Learning from Human Feedback（基于人类反馈的强化学习），是训练的第三阶段。简单来说：让人类标注员给不同的 AI 回答打分排名，然后用这些"偏好数据"训练一个"奖励模型"，最后用奖励模型来引导大模型朝"更受人类喜欢"的方向优化。

为什么重要：RLHF 是模型从"能用"到"好用"的关键。它让模型学会了微妙的人类偏好——什么样的回答算"有帮助"？什么样的语气让人舒服？什么时候应该拒绝回答？这些很难写成硬性规则，但人类一眼就能判断好坏。

和其他概念的关系：RLHF 在SFT之后进行。它是安全对齐的核心技术手段。RLHF 也直接关联到幻觉和偏见问题的缓解。

举个例子：用户问"怎么制作炸弹？"——预训练模型可能会照着网上的资料继续写下去；SFT 后的模型可能会拒绝但语气生硬；RLHF 后的模型会礼貌地解释为什么不能提供这个信息，并引导用户去做安全合法的事。

11. 损失函数（Loss Function）—— 模型的"打分表"

是什么：损失函数是训练过程中用来衡量模型"错得有多离谱"的数学工具。模型每次做出预测后，损失函数会给出一个分数——错得越离谱，分数越高。训练的目标就是让这个分数越低越好。模型的参数就是朝着"降低损失"的方向一步步调整的。

为什么重要：没有损失函数，训练就不知道"方向"——不知道该往哪个方向调整参数。它是整个训练过程的"指南针"。理解损失函数，你就能理解为什么模型训练是一个"优化"问题。

和其他概念的关系：损失函数的梯度（可以理解为"斜率"）通过反向传播算法传导回每一层，指导每个参数如何调整。

举个例子：就像投篮练习——损失函数告诉你"偏了多少"。如果球偏左了 30 厘米，下次你就知道要往右调整。模型也是这样：知道了偏差的大小和方向，就能调整参数让下次预测更准。

12. 反向传播（Backpropagation）—— "从错误中学习"的数学引擎

是什么：反向传播是训练神经网络的核心算法。它做的事情是：把输出端的误差，"反向"传播回网络的每一层，计算每个参数对最终误差"贡献"了多少，然后相应调整每个参数。因为是从输出层向输入层反向计算，所以叫"反向"传播。

为什么重要：没有反向传播，深度神经网络的训练就不可能实现。它是让几十上百层的网络中的几十亿个参数同时、协调地学习的唯一方法。你可以把它理解为"从错误中学习"的数学实现。

和其他概念的关系：反向传播依赖损失函数计算误差，依赖梯度下降来更新参数。这三个概念组合在一起，就是深度学习的"学习引擎"。

举个例子：就像排练一台话剧——演出结束后，导演从最后一幕倒着往前复盘：最后一幕出问题是因为演员站位不对，这又是因为前面换场时道具放错了位置，再往前追溯是因为……每一层的问题都能追溯到上一层的原因，然后一起修正。

13. 梯度下降（Gradient Descent）—— 找到"最低点"的方法

是什么：梯度下降是一种寻找函数最小值的数学方法。在训练模型时，"函数"就是损失函数（我们希望损失越低越好）。梯度（可以理解为"坡度"）告诉你当前所在位置的最陡上升方向，而梯度下降就是往反方向走一小步，这样就能一步步走到"谷底"（损失最小的地方）。

为什么重要：这是深度学习最基础的优化算法。所有的模型训练，本质上都是在用梯度下降（或其变体）来寻找最好的参数组合。理解它，你就能理解为什么训练需要大量计算。

和其他概念的关系：梯度下降使用反向传播计算的梯度来更新参数。学习率（Learning Rate）控制每一步的大小——太大可能跳过最低点，太小则训练太慢。

举个例子：想象你在浓雾中站在一座山上，目标是走到山谷的最低点。你看不到整个山，但能感觉到脚下的坡度。于是你每次往坡度最陡的下坡方向走一小步，停下来重新感受坡度，再走一步……最终一定能走到山谷底部。这就是梯度下降。

板块三：架构相关（7个）—— 模型"身体"是怎么搭建的

14. 神经网络（Neural Network）—— 模型的"身体结构"

是什么：神经网络是由大量简单的计算单元（"神经元"）按层排列组成的计算结构。每个神经元接收一些输入，做一些简单的加权求和运算，产生一个输出。当很多层这样的神经元堆叠在一起时（每一层的输出作为下一层的输入），整个网络就能学会极其复杂的规律。名字叫"神经"网络只是因为设计者最初受到了人脑的启发，但它的运作方式和人脑相差很大。

为什么重要：神经网络是深度学习的唯一基础架构。从最简单的图片分类到最前沿的大语言模型，全部都建立在神经网络之上。理解它，你就理解了所有现代 AI 的"身体"是怎么构成的。

和其他概念的关系：神经网络由参数（权重和偏置）组成。当网络有很多层时就是深度神经网络。Transformer是一种特殊设计的神经网络架构。

举个例子：把神经网络想象成一个多层流水线工厂——第一层工人做粗加工（识别基本笔画），把半成品传给第二层；第二层做精细加工（组合成字）；第三层做组装（理解词语）；越往后的层做得越复杂（理解句子、段落、整篇文章）。

15. Transformer —— 改变一切的那个架构

是什么：Transformer 是 2017 年由 Google 研究人员提出的一种神经网络架构，它的核心创新是自注意力机制——让模型在处理每个词时，能同时看到句子中所有其他词。在这之前，模型处理文字是"一个词一个词按顺序读"，Transformer 变成了"一整句话一起看"。

为什么重要：Transformer 是当前所有主流大模型的基础。GPT、Claude、Gemini、LLaMA 等全部基于 Transformer。它解决了之前技术（RNN）的两个致命问题：不能并行处理（速度慢）和长距离遗忘（读到后面忘了前面）。没有 Transformer，就没有今天的大模型时代。

和其他概念的关系：Transformer 由注意力机制和前馈网络交替堆叠而成。GPT 系列只用了 Transformer 的"解码器"部分，BERT只用了"编码器"部分。

举个例子：理解"他把苹果吃了"——在 Transformer 之前，模型读"他"→"把"→"苹果"→"吃了"，可能读到"吃了"时已经忘了"他"是谁。Transformer 读到"吃了"的时候，会同时回看句中所有词，发现"他"和"吃"关系最强，"苹果"是"吃"的对象。

16. 注意力机制（Attention Mechanism）—— Transformer 的"灵魂"

是什么：注意力机制是一种"让模型决定关注什么"的计算方法。当模型在处理一句话中的某个词时，注意力机制会计算这个词和句中所有其他词之间的"相关度分数"，然后根据这些分数，从其他词中提取信息。分数高的词被更多"关注"，分数低的词几乎被忽略。

为什么重要：这是 Transformer 架构最核心、最重要的创新。它解决了"模型怎么知道哪些词和当前任务相关"这个根本问题。没有注意力机制，模型就像一个人试图在吵闹的聚会上同时听所有人说话——什么也听不清。

和其他概念的关系：注意力机制通过Q、K、V三个矩阵来实现。多头注意力是多套注意力机制并行工作。自注意力是指 Q、K、V 都来自同一个输入序列。

举个例子：在处理"小明说他很累，因为他昨天跑了马拉松"这句话时，当模型处理到"他"这个词，注意力机制会给"小明"打高分（因为"他"指代"小明"），给"马拉松"打中等分（解释了为什么累），给其他词打低分。这样模型就"理解"了代词的指代关系。

17. Token（词元）—— 模型"读"的最小单位

是什么：Token 是模型处理文本的最小单位。它不是完整的单词，也不是单个字母，而是介于两者之间的东西。一个 token 可能是一个常见的完整词（如"the"、"我"），也可能是一个词的一部分（如"running"拆成"run"+"ning"），或者是标点符号。模型的输入和输出都是以 token 为单位计算的。

为什么重要：模型的能力和成本都和 token 息息相关。模型的上下文窗口（一次能处理多少内容）是以 token 数量衡量的，API 的定价也是按 token 数量计算。理解 token 是理解模型能力边界的起点。

和其他概念的关系：每个 token 通过词向量（Embedding）转换成一串数字。分词器（Tokenizer）负责把原始文本切分成 token。上下文窗口的大小以 token 数量为单位。

举个例子：中文里，大致 1-2 个字 = 1 个 token。一篇 3000 字的文章大约是 1500-2500 个 token。如果你用的模型上下文窗口是 128K token，那它可以一次性处理约 10-20 万字的文档。

18. 词向量（Embedding）—— 把"意思"变成数字

是什么：词向量是把一个词或一段文本的"含义"表示为一串数字（通常几百到几千个数字）。这些数字不是随机的——"含义相近"的词，它们的数字向量也"相近"。比如"国王"和"女王"的向量在很多维度上相似，但在"性别"这个维度上有差异。

为什么重要：计算机只能理解数字，不能直接理解文字。词向量就是把"文字"翻译成"计算机能运算的数字"的桥梁。没有词向量，模型就没法处理语言。而且词向量可以做数学运算——有一个著名的例子：国王的向量 - 男性的向量 + 女性的向量 ≈ 女王的向量。

和其他概念的关系：每个token在输入模型时都会被转换为对应的词向量。RAG系统用词向量来做"语义搜索"——把问题和文档都转成向量，找最相似的。向量数据库专门存储和检索这些向量。

举个例子：假如我们用 3 个数字来表示每个词（实际通常用 768 或更多维），"猫"可能是 (0.8, 0.3, 0.1)，"狗"可能是 (0.7, 0.4, 0.1)（和猫很像！），而"汽车"可能是 (-0.2, 0.8, 0.5)（和猫狗都很不像）。

19. Q、K、V（Query、Key、Value）—— 注意力机制的"三剑客"

是什么：Q、K、V 是让注意力机制运作起来的三个角色，通过三个不同的数学变换（矩阵乘法）产生。Q（查询）代表"我在找什么"，K（键）代表"我是谁/我有什么标签"，V（值）代表"我的实际内容是什么"。注意力计算的过程就是：用 Q 去匹配所有 K，找到相关的，然后从对应的 V 中提取信息。

为什么重要：Q、K、V 是理解注意力机制不能绕过的核心概念。当工程师讨论"注意力头""注意力权重"时，背后就是这三个东西在运作。理解它们，你就能真正理解模型是怎么"理解"语言的，而不只是停留在类比层面。

和其他概念的关系：在自注意力中，Q、K、V 都来自同一句话，只是经过不同的矩阵变换。多头注意力就是同时用多套不同的 Q、K、V 变换矩阵。Q 和 K 的"匹配度"经过Softmax（一种数学函数，能把任意数字变成总和为 1 的概率分布）处理后变成注意力权重。

举个例子：这就像图书馆检索系统。你有一个"查询"（Q = "2024年出版的中文科幻小说"），图书馆里每本书都有"标签"（K = 每本书的分类信息），你用查询去匹配所有标签，找到最相关的几本书，然后从这些书的"实际内容"（V = 书的全文）中提取你需要的信息。

20. 多头注意力（Multi-Head Attention）—— 同时从多个角度"关注"

是什么：多头注意力就是同时运行多套注意力机制（通常 8~64 套），每套有自己的 Q、K、V 变换矩阵。不同的"头"可以关注不同类型的语言特征——有的头关注语法结构（主谓宾），有的头关注位置关系（谁在前面），有的头关注语义角色（谁是施动者），有的头关注共指关系（代词指谁）。

为什么重要：单一套注意力只能从一种角度理解语言，但语言是复杂的——同一句话里同时存在语法、语义、指代、情感等多个维度的信息。多头注意力让模型能够同时从多个角度理解同一句话，每个头成为不同方面的"专家"。

和其他概念的关系：多头注意力是Transformer的核心组件。所有的"头"共享同一个输入，但使用不同的Q、K、V变换矩阵。所有头的输出最后被拼接（串在一起）再做一次变换，得到最终的注意力结果。

举个例子：就像警察局的专案组——一个侦探擅长分析动机，另一个擅长分析时间线，第三个擅长分析物证关系。他们同时研究同一个案子，最后开个会把各自的发现汇总起来，就比一个人单独分析要全面得多。

板块四：推理与生成（6个）—— 模型怎么"用"起来

21. 推理（Inference）—— 模型"回答问题"的过程

是什么：在 AI 领域，"推理"有两个意思要注意区分。第一个意思是模型运行/使用的过程——你问模型一个问题，模型根据输入计算出输出，这个过程叫"推理"（和"训练"相对）。第二个意思是逻辑推理——模型根据已知信息推导出新结论的能力（Reasoning）。多数情况下，"模型推理"指运行模型来回答问题。

为什么重要：推理是模型实际产生价值的环节。训练投入巨大但只做一次，推理是每次使用都要进行的。推理速度和成本直接决定了模型能否大规模商业应用。推理所需的内存和计算资源也决定了模型能否在手机等小设备上运行。

和其他概念的关系：推理是训练的对称概念。推理阶段使用自回归生成方式逐个产生 token。量化和蒸馏等技术都是为了降低推理成本。

举个例子：训练就像厨师花一年时间学厨艺（很慢、很贵、只做一次），推理就像厨师每做一道菜（快、每次点菜都要做）。一道菜的成本（推理成本）远低于学厨艺的成本（训练成本），但如果每天卖几千道菜，累计的推理成本也很可观。

22. 自回归生成（Autoregressive Generation）—— 一个字一个字地"蹦"出来

是什么：自回归生成是 GPT 类模型生成文本的方式：每次只生成一个 token，然后把这个新生成的 token 拼接到输入后面，再用新的输入生成下一个 token，如此循环直到完成。因为每一步的输出都依赖于之前生成的所有内容（"自己回归自己"），所以叫"自回归"。

为什么重要：这解释了为什么模型生成内容是"逐字逐句"出现的，而不是一次性写好整段。它也解释了模型的根本局限性——如果某一步生成了一个不太好的 token，这个 token 就会影响后续所有生成内容，模型没法"反悔"修改。

和其他概念的关系：自回归生成是GPT 系列和大多数 LLM 的生成方式。Temperature参数控制每一步选择 token 时的"随机性"。这种生成方式也是幻觉问题的来源之一。

举个例子：就像用老式打字机打字——每次敲一个字母，敲完就不能改，下一个字母必须在之前已敲出的内容基础上继续写。如果一个字母敲错了（生成了一个不好的 token），整篇文章都可能被带偏。

23. Temperature（温度参数）—— 控制模型的"创造力"

是什么：Temperature 是控制模型输出的"随机性/创造性"的一个参数，取值通常在 0 到 2 之间。Temperature 越低（接近 0），模型越"保守"——几乎每次都选概率最高的词，输出稳定但可能枯燥。Temperature 越高（接近 2），模型越"疯狂"——会选概率较低的词，输出更有创意但可能跑偏。

为什么重要：Temperature 是控制模型行为最简单、最有效的手段之一。写代码、做翻译、做数学题时应该用低温度（需要精确），写诗、写小说、头脑风暴时应该用高温度（需要创意）。

和其他概念的关系：Temperature 作用于自回归生成的每一步——它调整的是"从所有可能 token 中选择下一个"时的概率分布。Top-p（也叫 nucleus sampling）是另一种相关但不同的控制方法。

举个例子：Temperature = 0.2，问"我最喜欢的颜色是___"，模型可能每次都回答"蓝色"。Temperature = 1.2，同样的问题，模型可能回答"蓝色""湖蓝""星空般的深蓝""那种黄昏时天边的颜色"……更有创意但也更不可预测。

24. 思维链（Chain-of-Thought, CoT）—— "想清楚再说"

是什么：思维链是一种提示方法——在提问时加上"请一步步思考"或给出一个包含推理步骤的示例，引导模型在给出最终答案之前，先写出一步一步的推理过程。神奇的是：模型的参数没有任何改变，但加上"一步步思考"之后，在很多推理任务上的准确率能提升 20%-50%。

为什么重要：思维链证明了模型内部的推理能力远超直接提问时表现出来的水平。它也是目前提升模型推理能力性价比最高的方法——不需要重新训练，只需要改变提示词。在产品设计中，这意味着好的交互设计能大幅释放模型潜能。

和其他概念的关系：思维链是提示工程的高级技巧。涌现能力的发现部分归功于思维链——小模型加上"一步步思考"也没用，只有大到一定规模的模型才会从中受益。

举个例子：问题："一个苹果 2 元，小明买了 3 个，给老板 10 元，老板找了多少？" 不用思维链的回答可能是"4元"（可能对也可能错）。用了思维链："3个苹果花了 2×3=6 元，给了 10 元，10-6=4 元，所以老板找回 4 元。"——过程可见、可验证、可追溯。

25. RAG（检索增强生成）—— 让模型"查了资料再说话"

是什么：RAG 全称是 Retrieval-Augmented Generation（检索增强生成）。它的核心思想是：在问模型问题之前，先从一个知识库中检索出最相关的信息，然后把"检索到的资料 + 用户的问题"一起发给模型，让模型基于这些资料来回答。RAG 不改变模型本身，而是在模型外面加了一个"助理"帮它查资料。

为什么重要：RAG 是目前企业级大模型应用最主流的架构模式，因为它解决了几个核心痛点：1) 知识时效性（模型训练有截止日期，RAG 可以用最新文档）；2) 幻觉问题（有资料支撑，模型不容易胡编）；3) 数据安全（敏感数据不需要喂给模型训练，存在自己的知识库里）。

和其他概念的关系：RAG 依赖词向量（Embedding）和向量数据库做语义检索。它和微调是互补关系——微调改变模型本身，RAG 扩展模型的知识来源。

举个例子：公司有一个包含所有内部规章制度的知识库。员工问"我们的年假政策是什么？"——问题先被转成向量，在知识库中找到最相关的 5 条政策文档片段，然后连同问题一起发给大模型。大模型回答："根据 2025 版员工手册第 3 章，年假为每年 15 天……"而不是从自己模糊的训练记忆中瞎猜。

26. Agent（智能体）—— 让模型"长出手脚"

是什么：Agent 是让大模型不仅能说话，还能采取实际行动的系统。典型的 Agent 以大模型作为"大脑"，连接各种工具（搜索、代码执行、数据库查询、邮件发送、软件操作……），按照"思考→行动→观察→思考→……"的循环自主完成任务。模型负责决策"下一步该做什么"，工具负责执行具体操作。

为什么重要：Agent 是让 AI 从"辅助决策"走向"自主执行"的关键一步。如果说 LLM 是 AI 时代的"大脑"，Agent 就是给大脑接上了"手脚"。它能大幅提高自动化的上限，让 AI 胜任更复杂的任务流程。

和其他概念的关系：Agent 以LLM为核心，常结合RAG（作为知识工具之一）。多 Agent 协作是更前沿的方向，多个 Agent 像团队一样分工合作。

举个例子：你给 Agent 发了一封邮件："帮我查一下下周去杭州出差的航班、酒店，发一个行程摘要给经理审批。"Agent 先搜索航班信息，再搜索酒店，整理成行程表格，然后调取经理的邮箱地址，发邮件过去。整个过程不需要你一步步指挥，它自己规划、执行、检查。

板块五：前沿与挑战（3个）—— 现在的问题和未来的方向

27. 幻觉（Hallucination）—— 最让人头疼的问题

是什么：幻觉是指大模型自信地生成与事实不符的内容的现象——编造不存在的论文、虚构的法律条文、捏造历史事件、创造不存在的人名和地名，而且语气非常自信，看起来跟真的一样。注意，"幻觉"是 AI 领域的专有术语，不是指模型产生了人类意义上的幻觉或意识。

为什么重要：幻觉是大模型商业应用的最大障碍之一。在医疗、法律、金融等高风险领域，一次幻觉可能导致严重后果。它也是当前 AI 研究中最受关注的问题之一。令人困扰的是——我们还没找到根本性的解决方案。

为什么会产生幻觉？根本原因在于：大模型的设计目标是预测"下一个 token 最可能是什么"，而不是"下一个 token 是否事实准确"。它被训练来生成流畅、合理的文本，而不是真实的文本。流畅性 ≠ 真实性，这就是幻觉的来源。

如何缓解？目前最有效的方法是RAG（用外部知识库约束模型）、降低Temperature（减少随机性）、以及使用更好的训练数据和 RLHF。

举个例子：你问一个法律 AI "根据《民法典》第几条，合同解除需要什么条件？"，它可能编出一个根本不存在的条款号，并煞有介事地写出看起来很专业的法律条文——实际上全是编的。

28. 上下文窗口（Context Window）—— 模型的"工作记忆"

是什么：上下文窗口是模型一次可以"看到"的文本的最大长度，以 token 数量计量。比如 GPT-4 Turbo 的上下文窗口是 128K token（约等于 10 万字的中文），Claude 3 可以到 200K token（约 15 万字）。窗口内的所有内容，模型都能同时"关注"，但窗口之外的内容对模型来说是完全不可见的。

为什么重要：上下文窗口直接决定了模型能处理的任务类型。窗口太小时，长文档分析、多轮对话、复杂代码审查等任务就无法进行。这也是各模型厂商竞争的关键指标之一。但长上下文意味着更高的推理成本和更慢的响应速度。

和其他概念的关系：上下文窗口以token为单位。模型的注意力机制的复杂度随上下文长度的平方增长（每增加一倍长度，计算量增加四倍），所以长上下文在技术上很难做。

举个例子：你丢给模型一整本《三体》让它总结。如果模型的上下文窗口只有 32K token，它最多只能"读"前面两三万字，后面的内容完全进不去。128K 的窗口就能基本覆盖全书，但 200K 的窗口可以处理更长的长篇系列文档。

29. AGI（通用人工智能）—— 人工智能的"终极目标"

是什么：AGI 全称是 Artificial General Intelligence（通用人工智能），指能像人类一样完成任何智力任务的 AI。现在的 AI（包括 GPT-4）属于"窄人工智能"——在特定任务上表现超强（甚至超越人类），但并不具备人类智能的通用性。AGI 则意味着一个 AI 既能写诗、又能做数学、又能开汽车、又能理解情感、又能进行科学发现。

为什么重要：AGI 是 AI 领域的终极目标，它的实现将是人类历史上最重要的事件之一（可能仅次于火的发明）。各大 AI 公司——OpenAI、DeepMind、Anthropic——都把 AGI 作为最终使命。当前围绕大模型的讨论本质上都在问同一个问题：大模型路线能通向 AGI 吗？

现在的进展如何？关于大模型是否已经具备 AGI 的"萌芽"，AI 界存在巨大分歧。一些人认为 GPT-4 已展现出"AGI 的火花"（Sparks of AGI）；另一些人则认为大模型本质上只是"统计模式的匹配器"，离真正的理解和推理还很远。这场争论目前没有定论。

举个例子：如果 AGI 实现了，它就不再需要像现在这样"每个领域训练一个模型"。你不需要一个专门的医疗 AI 和一个专门的编程 AI——AGI 能同时胜任这两件事，就像一个人既是医生又是程序员一样。它能跨领域迁移知识，能自主制定目标，能理解自己不知道什么并主动去学习。

📚 进一步学习资源

经典论文（按难度排序）

在线学习资源

中文资源推荐

• 李沐的《动手学深度学习》（B站有配套视频）—— 最好的中文深度学习入门教材，从零开始，生动易懂
• 知乎专栏"大模型理论与实践"—— 很多国内工程师写的技术分享，视角更贴近国内产业实践
• 阿里通义千问、百度文心一言的技术博客—— 了解国产大模型的技术路线和进展
• 机器之心、量子位等 AI 媒体—— 跟踪最新的行业动态和技术突破