百度大模型算法二面:两段实习、论文与 mid-training / SFT / RL 的分工
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 做一下自我介绍。
- 聊一下最近一段实习做的东西。
- 聊一下上一段实习做的东西。
- 聊一下 paper。
- 聊一下对 RL 的认知,以及对训练阶段的认知:mid-training、SFT、RL 分别有什么用?
- 做题:LeetCode 79 单词搜索(Word Search),直接 DFS。
- 反问:团队是做什么的?
《参考解析》
两段实习要讲出「进阶关系」而不是并列:面试官连问两段,是在看你有没有形成方法论。第一段可以讲工程闭环(数据管道、训练脚本、评测集搭建),第二段讲你独立负责的算法决策(为什么这样构造偏好数据、为什么这个能力用 SFT 而不用 RL、指标怎么涨的)。每段给一个可量化的结论,并用一句话说明这段经历留下的能力。
mid-training、SFT、RL 的分工:mid-training(继续预训练 / 领域预训练)在基座模型上继续用大规模无标注或弱标注语料训练,目的是补领域知识与长上下文能力,代价是可能损伤通用能力、需要混入通用数据做回放;SFT 用指令-回答对教模型「怎么按格式和风格回答」,本质是行为克隆,收敛快但只能学到示范分布内的行为,且容易过拟合到模板;RL(RLHF / RLVR / 偏好优化)用奖励信号优化「哪个回答更好」,能把模型推到示范数据之外、改善有用性与安全性,代价是奖励劫持(reward hacking)、训练不稳定、成本高。工程上的顺序通常是 mid-training 补知识 → SFT 对齐格式与基础能力 → RL 提升上限,并强调每一步都要有对应的评测集来判断增益来自哪里。
关于 RL 的追问要准备三层:算法层(PPO 需要 critic、GRPO 用组内相对优势省掉 critic、DPO 把偏好对齐转成分类损失);数据层(偏好对的来源、难例挖掘、正负样本比例、长度偏置);工程层(采样吞吐、rollout 与训练的并行、KL 约束与熵坍塌)。被问「RL 一定比 SFT 好吗」时的正确态度是:SFT 决定下限与格式,RL 提升上限但只在奖励信号可靠、评测可信时才成立。
LeetCode 79 单词搜索:对每个格子做 DFS,路径上标记已访问(原地改成 # 再恢复),四个方向扩展,匹配到单词末尾即返回;剪枝包括首字母预筛、越界与字符不匹配提前返回。复杂度上界 O(m·n·4^L),L 为单词长度。写完要主动说清「为什么要回溯恢复现场」和「为什么不能重复访问同一格」,这是这道题的两个坑。
反问团队方向:可以问「团队当前主要做基座能力还是业务侧对齐」「评测体系是自己搭还是以线上指标为准」。这类问题能让面试官判断你关心的是长期能力而不是单一任务。