面灵AI→

字节算法实习一面面经:偏好对齐三连问与 beam search 手撕

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 讲一下实习项目,你在其中承担的核心工作是什么?梳理项目的完整流程。
  3. 项目的数据集怎么构成?知识库怎么搭建?选用了什么模型?从数据处理到效果评测整条链路展开讲。
  4. 项目各个环节的选型理由是什么?
  5. 介绍项目里 RL 相关的内容,DPO 方案的优势与短板分别是什么?
  6. 除 DPO 之外还了解哪些偏好对齐算法?说说不同方案之间的差异。
  7. 简述 ORPO 的底层原理。
  8. 项目的检索是怎么实现的?是否用到 LLM-as-judge?
  9. 遇到上下文长度超限的问题,有哪些处理思路?
  10. 项目所用的损失函数与优化方式是什么?讲解对应公式。
  11. 站在现在的角度,这个项目还有哪些优化方向?
  12. 手撕代码:beam search。

《参考解析》

这类面试的判据是「你有没有真的做过」。面试官不问通用八股,而是沿着你的项目一环扣一环地追:数据集怎么来、知识库怎么切、模型为什么选这个、检索为什么这么做、效果怎么评。任何一环答得含糊,追问就会停在那里。准备方式是给项目画一张链路图,每个节点准备三样东西:输入输出、选型理由、一个能对上的数字。

DPO 的优势与短板。优势是不用奖励模型、不用在线采样,直接用偏好对做分类式优化,训练成本与稳定性都优于 PPO 类 RLHF;超参主要是 β,调起来比 PPO 的四个模型协同简单得多。短板是纯离线:策略一旦偏离参考模型太多就没有纠偏信号,容易过拟合偏好数据;β 过小会退化通用能力,过大则几乎不更新;对数据质量极敏感,chosen 与 rejected 差别太小的时候梯度信号很弱;此外它只学相对偏好,不产出可校准的绝对分数。

偏好对齐方案的横向对比。回答时按三个维度组织最清楚:要不要奖励模型、要不要在线采样、对数据形态的要求。PPO / RLHF 三者全要,效果上限高但工程重;GRPO 去掉价值网络,用组内相对优势,适合有可验证奖励的任务;IPO 给 DPO 加正则,缓解偏好确定性假设过强的问题;KTO 只要好 / 坏二元标签,适合单边反馈;SimPO 去掉参考模型并用长度归一化,省显存。

ORPO 原理。ORPO 把指令微调和偏好对齐合成一步,损失由两部分组成:chosen 上的标准负对数似然,加上 λ 倍的赔率比惩罚项。赔率比用 chosen 与 rejected 的序列概率比构造,作用是直接压低 rejected 的相对概率。因为没有参考模型,显存与训练时间接近纯 SFT;代价是对 λ 敏感、缺少参考模型约束,训练久了同样有语言能力退化的风险。

检索与评测。检索要讲清切块粒度、是否重叠、embedding 模型、向量库、top-k 和是否加重排;专有名词与缩写多的场景用 BM25 + 向量混合召回通常更稳。LLM-as-judge 适合开放生成,但必须说明它的偏差:位置偏好、长度偏好、自我偏好,所以要做顺序交换双跑、给明确 rubric,并与人工标注算一致性。

上下文超限。按代价从低到高说:截断(保开头指令与结尾问题)、分块层次摘要、检索增强只喂相关片段、结构化压缩、外置记忆按需取回、换长上下文模型或做位置外推。要补一句业务约束:哪些信息绝对不能丢,比如否定指令和格式要求。

损失与优化。SFT 是 token 级交叉熵;DPO 是 (-\log\sigma(\beta[\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)}-\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}]))。优化侧讲 AdamW、warmup + 余弦衰减、梯度累积、bf16、梯度检查点与 ZeRO,这些决定了同样的卡能不能跑起来。

beam search 手写。维护 beam 列表保存「序列 + 累计对数概率」,每步对每条候选扩展词表并累加 log-prob,展平取 top-k;用长度归一化(长度^α)避免偏向短句;遇到 EOS 移入完成集合,凑够 beam 数或到最大长度停止。写完说明复杂度 O(T·B·V),并指出 beam search 是最大化似然、不等于人类偏好,这也是后来用采样与偏好对齐的原因。