Transformer 为什么能取代 RNN?
考点:你懂不懂它解决了什么。答:RNN 按顺序处理,长序列里早期信息容易丢失(长程依赖难),且难以并行训练。Transformer 用自注意力让每个位置直接"看到"序列里所有位置,既解决长程依赖、又能并行,训练效率和效果都上一个台阶。
01大模型基础FOUNDATIONS
Q
Q
注意力机制在做什么?一句话讲清 Q/K/V。
考点:能不能把公式讲成人话。答:每个词生成三样东西——Query(我在找什么)、Key(我能被什么找到)、Value(我携带的信息)。用 Query 和所有 Key 算相似度得到权重,再按权重把 Value 加权求和。本质是"根据相关性,从上下文里加权取信息"。
Q
token 和 embedding 什么关系?
答:token 是文本切分后的最小单位(词或词的碎片);embedding 是把每个 token 映射成一串数字(向量),让模型能计算。意思相近的内容,向量也相近——这是检索"找相关"的基础。详见 术语表。
Q
什么是幻觉?为什么会有?
答:模型一本正经地编造不存在的事实。根因是它本质在"预测下一个最可能的词",追求流畅合理而非事实正确;训练数据没覆盖或过时的地方,它会用"看起来对"的内容补上。对策:RAG 给外部依据、要求给出处、用评测和人工审核兜底。
02训练与适配TRAINING
Q
预训练、SFT、RLHF 各在做什么?
答:预训练——在海量文本上学"语言和世界的一般规律",得到基座模型;SFT(监督微调)——用"指令→理想回答"的示范数据,教它按人类期望的方式回应;RLHF(基于人类反馈的强化学习)——用人对回答好坏的排序训练一个奖励信号,再优化模型,让它更符合人类偏好。三步从"会续写"到"会听话"。
Q
提示词、RAG、微调,什么时候用哪个?(高频)
考点:方案选择的判断力。答:顺序是先轻后重——先改提示词(改指令/给例子,最快最便宜);解决不了、且问题是"缺知识"就上 RAG(外挂资料,不改模型);还不行、且问题是"行为/风格不稳定"再考虑微调(最贵、需要数据、可能过拟合)。一句话:缺知识用 RAG,缺行为一致性才微调,能提示词解决就别动模型。详见 F-005。
Q
什么是 few-shot / 上下文学习(ICL)?
答:不改模型参数,只在提示词里给几个"输入→输出"的例子,模型就能照着做——这叫少样本/上下文学习。它和微调的根本区别:ICL 是临时的(只在这次对话生效)、零训练成本;微调是永久改变模型参数。
03RAG 原理RAG
Q
RAG 为什么能减少幻觉?
答:它在生成前先从你的资料库检索相关片段,把这些"外部事实依据"塞进上下文,让模型基于给定材料作答,而不是凭记忆编。所以答案有据可查、也能给出处。但注意:检索不到或检索错,它照样会错——RAG 降低幻觉,不消灭幻觉。
Q
向量检索的原理?为什么用 embedding 而不是关键词?
答:把文档片段和问题都转成向量,靠向量距离找"语义最近"的片段。相比关键词匹配,它能命中"意思相近但用词不同"的内容(问"怎么退货"能匹配到"退换流程")。代价是要维护向量库、且解释性差。实践常"关键词 + 向量"混合。
Q
chunk 大小和 rerank 各解决什么?
答:chunk(分块)——文档太长要切段再入库,切太大检索不精准、切太小丢上下文,是个权衡;rerank(重排)——先用快而粗的向量检索捞一批候选,再用更准但更慢的模型对候选重新排序,把最相关的顶上来,兼顾速度和精度。RAG 是五部件流水线,每个部件都有自己的失败方式,详见 F-002。
04评估EVAL
Q
怎么判断一个模型/RAG/Agent"变好了"?
考点:有没有工程化的评估意识。答:关键是有一套固定不变的题集和明确的判断标准,改动前后都跑同一套,对比结果——而不是凭"感觉好像变强了"。方式比数字稳:说清"我怎么知道它对"比报一个漂亮准确率更可信。详见 F-013。
Q
常见评估指标有哪些?各自局限?
答:分类任务看准确率/精确率/召回/F1(注意类别不均衡时准确率会骗人);检索看召回率/命中率;生成任务传统有 BLEU/ROUGE(靠字面重合,和"答得好不好"未必一致);现在更多用"人工评估"或"用强模型当裁判(LLM-as-judge)"。没有万能指标,选指标要贴着任务目标。
Q
为什么"固定题集"这么重要?
答:因为只有变量单一(题不变、只变模型/prompt/检索),对比才有意义。题集一变,分数涨跌就说不清是真变好还是题变简单了。这也是 evals 工程的核心纪律。
05AgentAGENT
Q
Agent 和"调一次大模型"有什么区别?
答:调一次模型是"输入→输出"一锤子;Agent 是被授权在一个循环里反复"观察→决策→执行工具→更新状态",直到完成目标或触发停止。核心不在模型多强,在"授权采取动作"这件事。详见 F-001。
Q
ReAct 是什么?
答:一种 Agent 范式,让模型交替产出"推理(Reasoning)"和"行动(Action)"——先想一步该干嘛、再调一个工具、看结果、再想下一步。好处是决策过程显式、可追踪(也方便留 trace)。
06自测CHECKLIST
- 注意力机制,你能不用公式、只用"按相关性加权取信息"讲清吗?
- 被问"提示词/RAG/微调怎么选",你能说出"缺知识用 RAG、缺行为一致性才微调"这条判断线吗?
- 被追问"RAG 是不是就不会错了",你能答出"检索错照样错、只降不灭"吗?
- 被问"你怎么证明它变好了",你能立刻说出"固定题集 + 明确标准"吗?
- 每个概念,你是理解了、还是只背了一句定义?(理解的人扛得住第二问)
概念题过完,回去练 F-016 项目追问 和 F-018 算法地图,三块合起来才是 AI 岗笔面的完整准备。不确定的词随时查 术语表。