训练

什么错误不该靠训练解决？

工具没接上、检索库是空的、上下文把证据挤掉、停止条件没写，这些是运行时错误。换训练解决不了。先把循环、记忆和评估跑通，确认失败来自策略本身：该调用时不调用、推理步骤不稳定、同样的反馈不会改行为。

预训练、SFT、奖励模型和强化学习各改什么？

预训练用下一个 token 预测学语言和世界知识，数据大，不负责听指令。

后训练通常三步：

• SFT：用「指令，期望输出」学会对话格式和基本做法。见效快，但只会模仿标注，不会自己发现更好的路径。参数高效的做法是 LoRA，只训练一小部分权重。
• 奖励模型：用同一题的更好回答和更差回答，学一个打分器。
• 强化学习：让当前策略提高奖励，同时用 KL 惩罚限制它跑离 SFT 模型太远。经典算法是 PPO。人工偏好太贵时，可以用更强的模型代替人来标偏好。

PPO 和 GRPO 面试怎么区分？

PPO 要优势函数，通常再训一个价值模型。语言模型场景里就要同时照看策略、参考模型、价值模型和奖励模型，占显存，也更容易不稳。

GRPO 不为价值模型单独建网络。对同一题采样一组回答，用这组里的相对奖励代替优势：高于组内平均的提高概率，低于平均的压低。再加对参考模型的 KL 惩罚。面试记这句：组内比较，省掉价值模型。

Agentic RL 和普通偏好微调差在哪？

偏好微调优化的是单轮回答好不好，状态基本就是这道题，行动就是生成一段文本，奖励在结束时给一次。

Agentic RL 把模型当成多步策略。状态里要有历史观察，行动里既有思考也有工具调用，环境会因为行动改变，奖励可以是最后对错，也可以是中间「工具调用成功」这种部分奖励。目标是整条轨迹的累积奖励，不是一句回答的分数。

它想补的能力可以记六个词：推理、工具使用、记忆、规划、自我改进、感知。其中和岗位最相关的是前四个。数据集可以用带步骤的推理题，例如数学应用题；奖励可以是答案对不对、长度罚分、步骤是否完整。具体训练脚本和分布式配置属于项目，这里不展开。