面灵AI→

百度推荐算法日常实习面经:双塔负采样、SID 碰撞、约束解码与 GRPO

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 传统推荐系统的整体架构是什么?
  2. 你项目里的排序模型承担的是重排任务,还是精排任务?
  3. 双塔训练时,负采样是怎么做的?
  4. 有没有发现负采样中的问题?
  5. SID 在项目里起到了什么作用?
  6. 生成式推荐系统比传统推荐系统的训练成本更低吗?
  7. 项目里的 SID 是怎么构建的,用了什么方式?
  8. 前三层编码的碰撞率是多少?
  9. 为什么会发生碰撞?
  10. 新增的第四层消歧编码是怎么编码的?会不会对语义有所折损?
  11. 还有什么方法可以降低碰撞率?
  12. 约束解码的原理是什么?
  13. 多任务微调中设计了哪些任务?
  14. GRPO 和 SFT 在本质上的区别是什么?
  15. 你这个 GRPO 强化学习中的 Loss 是怎么设置的?
  16. 解释一下 DeepFM 模型。
  17. LightGBM 排序模型,介绍一下。
  18. 手撕:打家劫舍,时间复杂度多少?

《参考解析》

推荐系统整体架构:数据层(日志、特征、样本)→ 召回(多路:协同过滤、向量近邻、热度、规则,把百万级压到千级)→ 粗排(轻量模型快速打分,压到百级)→ 精排(复杂模型预估 CTR/CVR,考虑上下文与交叉特征)→ 重排(多样性、打散、业务规则、位置偏置校正)→ 展示与反馈回流。离线训练、近线特征、在线服务三者要一致,特征穿越与线上线下不一致是最常见的事故来源。

双塔负采样:常见做法是 in-batch negative(同 batch 内其他样本作为负例,用温度系数调节难度)、全局随机负采样、以及按流行度采样的 hard negative。问题主要有三类:样本偏差(随机负例太容易,模型学不到区分度;难负例又容易引入假阴性——用户其实会点击但没被曝光的样本被当成负例)、流行度偏差(热门物品被频繁采为负例,长尾得不到训练)、以及训练与在线检索不一致(训练时见过全部物品,线上只召回候选池内的)。改进方向包括曝光未点击作为负例、按分布校正采样、难负例挖掘加去噪、以及用两阶段训练。

SID 是什么、怎么构建:SID(Semantic ID)是把物品编码成一串离散 token(如三层码本,每层取一个 id),让生成式推荐模型像生成文本一样自回归地生成物品标识。构建方式通常是对物品的语义向量做层次聚类或残差量化(RQ-VAE 一类):每层在上一层残差上学习码本,物品最终表示为若干层离散码的组合。它的价值在于把「检索」变成「生成」,并且共享语义相近物品的 token 前缀,从而具备泛化能力。

为什么会碰撞、怎么降低:碰撞是有限的编码空间装不下物品数量导致的——每层码本大小为 K、层数为 L,理论组合数是 K^L,但当物品数接近或超过这个量级,不同物品必然映射到同一串编码;此外量化误差会让语义相近但不同的物品落到同一码。降低碰撞的办法:增大码本或增加层数(扩大组合空间)、在训练时加入碰撞惩罚或冲突检测后单独分配、用残差量化保留更多信息、对高频物品单独建表、以及第四层做消歧编码把冲突物品再分开。消歧层会引入更细粒度的区分,但纯消歧码往往缺乏语义,过度依赖它会削弱生成式模型的语义泛化,属于「保唯一性」与「保语义」之间的取舍。

生成式推荐的训练成本:不一定更低。它把推荐转成序列生成,需要自回归训练与 beam search 解码,推理延迟通常高于传统双塔召回;训练侧如果复用语言模型底座,可以借预训练能力减少数据需求,但从头训练 SID 体系(量化码本 + 生成模型)本身的成本不低。它的优势在泛化、可解释的语义结构与多任务统一,而不是成本。

约束解码:生成式召回的核心问题是模型可能生成不存在的 SID。约束解码在每一步只允许合法的下一个 token——把全部合法 SID 建成前缀树(Trie),解码时按当前前缀过滤候选 token 集合,beam search 只在合法分支上扩展,从而保证输出一定对应真实物品。工程上还要处理前缀树更新(新物品上架)与解码效率。

GRPO 与 SFT 的本质区别:SFT 是监督学习,最大化标注答案的似然,样本是「输入—正确输出」,优化目标是拟合分布;GRPO 是强化学习,不直接告诉模型正确答案,而是对同一 prompt 采样一组回答、用奖励函数打分,以组内相对优势(减去组均值、除以标准差)作为权重更新策略,并加 KL 约束防止偏离参考模型太远。区别的本质是「模仿」与「试错优化」:SFT 学的是「像人怎么写」,RL 学的是「怎样得分更高」。GRPO 的 Loss 形如 -E[min(r·A, clip(r,1-ε,1+ε)·A)] + β·KL(π||π_ref),其中 r 是新旧策略的概率比,A 是组内归一化的优势,clip 限制单步更新幅度,KL 项控制漂移;组内奖励全相同时优势为 0,梯度消失,这是 GRPO 的典型失效场景。

DeepFM:把 Wide&Deep 的两部分统一到一个模型里,共享同一份 embedding:FM 部分自动学习二阶特征交叉(Σ_{i<j} <v_i, v_j> x_i x_j,用向量内积代替枚举,复杂度线性),Deep 部分用 MLP 学习高阶非线性交叉;两部分输出相加过 sigmoid。相比 Wide&Deep 省掉了人工特征工程,相比纯 FM 能学高阶。

LightGBM 做排序:基于梯度提升决策树,用直方图算法离散特征、Leaf-wise 生长、GOSS 采样与 EFB 特征捆绑来提速省内存。排序场景常用 lambdarank 目标,直接优化 NDCG 这类列表级指标,而不是逐点回归;特征包括用户、物品、交叉与统计特征。它的优势是训练快、对特征尺度不敏感、可解释性好,常作为强基线或粗排模型。

手撕打家劫舍:状态定义 dp[i] 为前 i 间房能偷到的最大金额,转移 dp[i] = max(dp[i-1], dp[i-2] + nums[i]),因为相邻不能同时偷。边界 dp[0]=0, dp[1]=nums[0]。用两个变量滚动即可把空间降到 O(1),时间 O(n)。要能说清「为什么可以只保留前两个状态」——转移只依赖前两项。