面灵AI→

科大讯飞一面:Agent Loop 与上下文管理,从 BM25 混合召回问到工具描述变更的评测

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 实习项目拷打。
  3. 主 Agent 和 Subagent 的调用关系是怎样的?
  4. 为什么同时用 BM25 和向量召回?
  5. 回答结果不符合预期,怎么排查是哪里出了问题?
  6. 对于 PI Agent 二开,Harness 还需要补哪些能力?你在实习中主要参与了哪部分?
  7. 用一次工具调用讲一下你的 Agent Loop。
  8. 为什么用 Plan-Execute-Replan?
  9. 怎么防止 Agent 陷入死循环?
  10. 会话历史、任务执行状态和本轮传给模型的上下文分别包含什么?哪些信息需要持久化?
  11. 工具一次返回了大量日志,怎么进行压缩和裁剪?
  12. 你接触过 Skill、CLI 和 MCP。用一个工具接入的例子讲讲,它们在同一条工作流里分别起什么作用?
  13. 模型生成的参数符合 JSON Schema,但两个字段的组合违反了业务约束,你会怎么设计重试?
  14. 实习里模型评测怎么做的?
  15. 数据集怎么构建和更新?
  16. 如果改了一版工具描述,你怎么用历史任务验证 Agent 的工具选择和任务完成率有没有变化?

《参考解析》

主 Agent 与 Subagent。主 Agent 负责理解目标、拆解任务、选择子任务并汇总结果;Subagent 负责一个边界清晰的子任务(检索、代码执行、评审),有自己的上下文与工具集,返回结构化结果而不是自由文本。这样拆分的好处是上下文隔离(子任务的长过程不污染主上下文)、工具权限可以不同(子 Agent 只给只读工具)、失败可重试。代价是信息在边界处有损,所以返回要定 schema,关键证据(引用、文件路径、行号)必须带回来。

为什么混合召回。BM25 擅长精确匹配:型号、错误码、函数名、专有名词、缩写,这些向量模型经常「语义相近但答错」;向量召回擅长同义改写与语义泛化,用户用不同说法也能召回。两者互补,用 RRF(倒数排名融合)或加权分数合并,再加重排。只答「提高召回率」不够,要说清各自在什么查询上更强、融合方式、以及融合后如何评估(分查询类型看 hit rate)。

回答不符预期的排查顺序。按流水线逐段定位:命中(检索是否召回正确文档)→ 上下文(正确文档是否真的进了 prompt,是否被截断)→ 生成(模型是否读到了却答错,换更强模型或改提示词复测)→ 工具(是否调错工具、参数错、返回被裁剪丢信息)→ 约束(业务规则是否遗漏)。方法上是把每个中间态落盘(检索结果、最终 prompt、工具调用记录),用同一批 case 做对照实验,一次只改一个变量。

Harness 还缺什么。Harness 是模型外面那层执行框架:工具注册与调度、上下文组装与裁剪、错误处理与重试、状态持久化、可观测性(每步的 prompt / 输出 / 耗时 / token)、权限与沙箱。常见缺口是可观测性与可重放——出了 badcase 只能靠猜,因为每一步的输入没有被完整记录;另一个是错误恢复,工具失败后模型看不到结构化错误,只能瞎试。

用一次工具调用讲 Agent Loop。组装上下文(system + 历史 + 本轮目标 + 工具表)→ 调用模型 → 模型返回工具调用(名称 + 参数)→ 校验参数(schema 与业务约束)→ 执行工具(超时、重试、权限)→ 把结果作为新消息追加 → 判断是否继续(模型给出终止信号或达到步数上限)→ 输出。要说明循环的终止条件、每一步的留痕、以及工具结果如何裁剪后再进上下文。

为什么 Plan-Execute-Replan。单步 ReAct 在长任务上容易迷路:没有显式计划就无法判断「当前做到哪一步、还剩什么」。Plan 阶段把目标拆成有序步骤,Execute 逐步执行并收集结果,Replan 在失败或信息变化时重新规划剩余步骤。适合步骤多、依赖外部状态、需要人看进度的任务;代价是多一次模型调用、计划本身可能错,所以要允许局部重规划而不是每次从头再规划。

防死循环。硬性上限(最大步数、最大工具调用次数、总时长与 token 预算)+ 进展检测(连续 N 步没有产生新信息或状态没变化就中止)+ 重复检测(相同工具 + 相同参数在短时间内重复调用要拦截并告知模型)+ 失败升级(同一工具连续失败两次就换策略或向用户澄清)+ 循环结束要给出明确的失败原因,而不是静默返回半成品。

上下文分层。会话历史是给模型看的对话流(用户消息、模型回复、工具结果摘要);任务执行状态是系统维护的结构化状态(当前步骤、已完成项、产物路径、错误),不直接全量进 prompt,而是按需渲染;本轮上下文是这一次调用真正发给模型的内容(system、裁剪后的历史、相关工具结果)。持久化至少要存会话历史与任务状态——前者用于恢复对话,后者用于断点续跑与审计;本轮上下文可以重建,不必持久化,但要留痕用于排查。

日志压缩。先结构化再裁剪:只保留与当前目标相关的行(按错误级别、关键字、时间窗过滤),保留头尾各若干行加中间省略标记,把重复行聚合成「同一错误 × N 次」,长堆栈只留最内层与调用链关键帧,必要时先摘要成「发生了什么 + 关键证据在哪」再给模型,完整日志落盘并给路径让模型按需再取。

Skill、CLI 与 MCP 的分工。MCP 解决「工具如何被发现和调用」的协议问题(统一的工具描述与调用通道);Skill 是打包好的领域知识与操作流程(告诉模型这类任务该按什么步骤做、注意什么);CLI 是具体的执行入口(真正跑命令、读写文件)。同一条工作流里:Skill 提供方法论,MCP 把能力注册给模型,CLI 落到实际执行。讲一个具体接入例子,说明三者分别改了哪一层。

Schema 合法但业务约束违反。校验分两层:schema 层(类型、必填、枚举)用 JSON Schema 挡;业务层(字段组合、状态依赖、权限、资源存在性)在工具执行前用显式校验函数挡。违反时不要只返回「参数错误」,而要把具体哪条约束被违反、当前值是什么、合法组合是什么结构化返回给模型,让它一次改对;同时限制重试次数(同一工具同一约束连续失败 2 次就停止并把问题抛给用户),避免模型在同一个错误上打转。重试要带上前一次的错误信息,不能原样重发。

评测与数据集。评测分三层:单步能力(工具选择准确率、参数正确率)、任务级(端到端完成率、平均步数、token 成本)、人工抽检(质量与可接受度)。数据集从真实任务日志里采样并脱敏,按场景分层,保留难例与失败案例;版本化更新,每次改动工具或提示词都跑同一套 case 做对照。改工具描述后的验证就用这套:固定模型与参数,只换描述,比较工具选择准确率、任务完成率、平均步数与失败分布,差异要统计显著才算有效,不能凭几条 case 下结论。