选型和它会怎么错
大约 2 分钟
选型和它会怎么错
给 Agent 选模型看什么?
先看任务,再看榜。工具调用要稳、要看长轨迹、要低延迟多步循环、要能本地部署,这是四件不同的事,很少被同一个榜第一名同时满足。
面试时按这个顺序说:
- 这一步是规划、抽参数,还是最后组织语言。规划可以用更强的模型,大量抽参和分类可以换小模型。
- 失败代价。写错一句文案和调用转账接口不是同一档。
- 延迟和费用要按整条轨迹算,不是按一次聊天算。十步循环会把单次看起来便宜的模型乘上去。
- 协议是否稳定:函数调用、JSON 模式、拒绝不存在的工具。
开源权重和托管 API 的选择,核心是数据能不能出域、你要不要自己改模型,不是「开源更先进」。
缩放法则面试怎么一句话讲?
在数据和训练算力跟上的前提下,规模变大通常带来更可预期的损失下降,所以才会出现「先把模型做大」的阶段。它不保证某个具体任务线性变好,也不代替后训练和工具。
Agent 岗位里接这句:规模解决的是基础能力,循环、记忆和评估解决的是把能力用在一件多步任务上。模型更大,不会自动记得上一次对话,也不会自动少花步数。
幻觉在 Agent 里怎么被放大,怎么接住?
幻觉是模型生成了流畅但没有依据的内容。在聊天里它是一句错话;在循环里它会变成错误参数、错误工具,或者把编造的观察当成事实继续规划。
接住它靠的是结构,不是再写一句「不要编造」:
- 事实只来自观察。模型说「我查过了」但没有对应工具结果,就当没查。
- 动作先过解析和参数校验,再执行。
- 高风险动作要求可核对的返回,必要时人确认。
- 把检索到的原文带进生成,并要求回答能指回那段材料。
工具调用失败时循环该怎么处理?
失败是正常观察,不是异常退出的唯一选择。把错误种类写进下一轮:参数不对、超时、空结果、权限不足。模型可以改参数或换工具,但不能无限重试同一次调用。
要有步数、时间和费用上限。连续同一类失败就停下来,把轨迹交给人。重试必须幂等,付款、发信、写库这种动作不能因为模型「再试一次」执行两遍。