面灵AI→

大厂推荐算法面经 10 问:DPO、GRPO、DAPO、GSPO 与强化学习训练细节

某互联网公司 推荐算法工程师

推荐算法岗一轮技术面,10 个问题全部落在强化学习与大模型后训练:DPO 损失函数、PPO / GRPO / DPO 的区别与 on-policy 归属、DAPO 与 GSPO 对 GRPO 的改进、process reward 与 outcome reward 的取舍、reward 上升而验证集下降的排查思路、VeRL 的同步与异步训练流程、训推不一致的成因,最后问 SFT 与 RL 哪个更重要。

2026-11

字节搜索大模型一面:意图识别、RQ-Kmeans 与 GRPO 原理

字节跳动 搜索大模型算法 一面

字节搜索大模型一面(10 月 28 日,约 50 分钟),围绕两个项目深挖。项目一:搜索完整链路与负责部分、意图识别结果怎么用(是否作为模型特征)、链路时延与兜底、为什么用大模型判意图(输入输出、是否含用户行为、评估指标、基线)、样本标注定义/采样/量级/正负比例/是否与线上分布一致、微调做了哪些工作与其他微调方式、过拟合与灾难性遗忘怎么解决、OPD、显存不足的优化与分布式训练框架、推理优化的词表裁剪与推理框架、端侧资源消耗。项目二:生成 SID 的 Embedding 模型选型、RQ-Kmeans 的 K 选取与聚类评估、与普通 Kmeans 的区别、码本大小经验、生成式模型的输入输出与历史序列处理、GRPO 原理与奖励函数、为什么不用其他 RL 算法、loss 形式、DPO/PPO 原理、优化数学推理任务该选哪种。八股:召回/排序怎么做、双塔召回训练与对比损失、序列特征建模、DIN 多目标结构、self-attention 的 QKV 计算、降低 QKV 复杂度的方法。手撕:接雨水。

2026-11

深度赋智 Agent 算法一面:PPO、DPO、GRPO 的差别与 Harness 的理解

深度赋智 Agent 算法 一面

深度赋智 Agent 算法一面:项目与经典方案的差异、PPO/DPO/GRPO 的对比、Agent 项目的模块与动机、对 Harness 与上下文压缩机制的理解。

2026-11

吉利大模型算法一二面:Agentic RL、GRPO 与 Reward Hacking

吉利 大模型算法 一至二面

吉利大模型算法一二级面:一面 70 分钟全是 RL 理论,从 Agentic RL 与传统 RL 的差异、长时序训练为什么崩、GRPO 如何在没有 critic 时估优势,到 PPO 的 clip 与 KL、DAPO 的 token 级损失与 clip-higher、动态采样的加速原理;二面 75 分钟抠论文细节,GAE 与 λ、上下文压缩后的信用分配、Reward Hacking 的检测信号、OPD 在线策略蒸馏与 RL 的边界,以及只有 8 张卡时怎么砍流程。

2026-11

华为 AI 模型技术岗一二三面:后训练全流程、Agent 框架与科研追问

华为 AI模型技术岗 一二三面

华为 AI 模型技术岗三面记录:一面围绕 LLM 后训练全流程选型、训练踩坑、OPD 适配性、SFT/PPO/GRPO 差异与 Reward Hacking,手撕要求手写 Attention 与 Decoder-only Mask;二面转向 Agent 工程与 DeepSeek Harness 框架,手撕是滑动窗口中档题;三面追问论文与实习产出、优势短板与成长规划。

2026-11

快手大模型算法岗面经(四):八场面试真题,从 PPO 优势函数问到 vLLM 调度与 MLA

快手 大模型算法 多轮

快手大模型算法岗(校招、实习、日常实习)八场面试真题汇总:从百度实习的细节追问开始,考察 MoE 与 Dense 的取舍、滑窗切分的 overlap、SFT 与 RL 的选择、PPO/DPO/GRPO 的原理与 token 级还是 sequence 级损失、优势函数怎么算;随后转向 Transformer 与 cross-attention、vLLM 的调度、分布式训练架构与 NCCL 算法、损失函数与 CoT、RoPE、MLA、动态分辨率与 Function Call,几乎每场都带一道手撕。

2026-11

米哈游大模型算法岗:九问 Agent 训练、DPO 与长上下文外推

米哈游 大模型算法

米哈游大模型算法岗的九道题(原帖以九张长截图发出):从 Agent 的推理与工具调用、轨迹留存、工具记忆模块、Agentic Loop,到训练曲线异常、DPO 后输出变长、退火阶段、GUI Agent 的研究价值判定,最后落到 RoPE 长度外推与 DPO/PPO 的对比。题目集中在大模型后训练与 Agent 工程的交叉处。

2026-11

米哈游大模型算法岗面经:Agent 训练、DPO 与长上下文九问

米哈游 大模型算法

米哈游大模型算法岗面经九问,主题是 Agent 的训练与评估:Agent 如何完成推理与工具调用、单条轨迹要留存哪些信息,工具记忆模块怎么设计、过期与冲突信息怎么处理,Agentic Loop 怎么用交互轨迹优化训练,训练曲线该盯哪些指标以及奖励上涨但成功率下降怎么排查,DPO 之后输出变长的归因,退火阶段的作用与验证,大型游戏 GUI Agent 的研究价值怎么判定,RoPE 模型的长度外推方案,以及 DPO 与 PPO 在优化目标、数据来源与训练流程上的区别。

2026-11

月之暗面大模型算法一二面:GRPO 的每一个参数都要能往下推一层

月之暗面 大模型算法 一二面

月之暗面大模型算法一二次面:从 SFT 数据与基座选型问到 GRPO 的 group size、advantage 归一化、KL 位置、长度偏置与 DAPO/GSPO 的改动,最后现场手写 GRPO loss。

2026-11

小米汽车大模型算法:GRPO 追问到第五层,DPO 与线上灰度

小米汽车 大模型算法 一至二面

小米汽车大模型算法一二级面:一面从项目为什么引入 Agent 讲到 GRPO 完整训练流程、组大小 G 怎么取、规则 reward 与 reward model 怎么加权、Reward Hacking 的形式、Top-k 与 Top-p、PPO 与 GRPO 的差异、DPO 的 loss;二面问模型选型硬指标、没有完整监督轨迹时训练信号从哪来、业务规则写进 prompt 还是 reward、LoRA rank、灰度与吞吐、线上 reward 分布漂移怎么发现。手撕带障碍消除的最小路径和。

2026-11

滴滴大模型算法岗面经:多头注意力、GRPO 与 RAG 全链路九问

滴滴 大模型算法

滴滴大模型算法岗一面九问,一条线从模型原理拉到 RAG 工程:多头注意力的动机与单头局限、GRPO 与 PPO 在 RLHF 里的核心区别、vLLM 的吞吐来源、推荐系统为什么引入 RAG 及知识库的构建流程、嵌入模型为什么选 BGE 与 FAISS 索引怎么建、chunk 划分策略、什么场景需要 GraphRAG、超长输入的几种主流解法,最后手撕乘积最大子数组。

2026-10

华为算法线下面三面连打:Agentic RAG、PPO 与 DPO 的取舍、GRPO 手撕与多卡推理 OOM

华为 算法工程师(大模型) 一二三面

华为北京线下一二三面连打、每面之间几分钟到二十分钟出结果:一面像技术交流,深挖两段实习与 Agentic RAG 方案选型,追问项目用 PPO 还是 DPO 及两者取舍、样本动态加权与梯度解耦缩放怎么做,最后一道逻辑题结合 BFS;二面节奏快、压力面,问多卡部署框架、精度问题与 OOM 处理、vLLM 推理流程、PPO 奖励解耦、SFT 与 RM 数据格式、训练 OOM 的归因,手撕 GRPO 伪代码并追问 loss 里条件概率怎么算、参数如何更新;三面主管面偏聊天,问为什么实习这么多家公司、挑重要经历讲做事逻辑、论文创新点与 baseline 对比。

2026-10

华为大模型算法岗一面:从 loss 不收敛问到 MoE、LoRA 与 GRPO

华为 大模型算法 一面

华为大模型算法岗一面:从实习与项目切入,连问 loss 不收敛的排查角度、Transformer 复杂度与优化、MHA/MQA/GQA 之外的注意力变体(点名 DeepSeek、Qwen)、FFN 结构与替代设计、归一化、MoE 路由与共享专家、前向反向传播、LoRA 原理、PPO/GRPO/DPO 对比与 GRPO 去掉 Critic 的原因、数据清洗与数据集搭建,最后手撕三数之和及其变体。

2026-10

拼多多算法岗一面:特征共线性、GRPO 与股票买卖题

拼多多 算法岗 一面

拼多多算法岗一面面经:围绕暑期实习项目深挖特征构建与共线性、类别标签设计、GRPO 落地与奖励函数,并对比 PPO/GRPO/GSPO/DPO,最后手撕股票买卖 122 与 123。

2026-10

拼多多算法岗一面:特征共线性、GRPO 与股票买卖题

拼多多 算法岗 一面

拼多多算法岗一面面经:围绕暑期实习项目深挖特征构建与共线性、类别标签设计、GRPO 落地与奖励函数,并对比 PPO/GRPO/GSPO/DPO,最后手撕股票买卖 122 与 123。

2026-10

大厂推荐算法面经 10 问:后训练 RL 的算法对比与工程细节

某互联网公司 推荐算法

一份大厂推荐算法方向的面经,十道题全部落在 LLM 后训练的强化学习侧:DPO 的损失函数、PPO 与 GRPO、DPO 的异同与 on-policy 归属,DAPO 与 GSPO 对 GRPO 的改进,process reward 与 outcome reward 的取舍,reward 上升而验证集下降的排查方向,VeRL 的同步异步与训推不一致,以及 SFT 与 RL 阶段的轻重判断。

2026-10

腾讯 CSIG 后训练实习一二面面经:从位置编码到 PPO 与 GRPO

腾讯 大模型算法(后训练) 一面+二面

腾讯 CSIG 后训练岗日常实习一、二面共 18 道题:一面考位置编码演进(绝对位置编码到 RoPE 及后续优化)、视频 VLM 的帧采样与时序建模、多模态输入编码差异、长文档与超大分辨率适配、推理超参、SFT 与 RL 的特性与业务场景、数据飞轮、稀疏 Attention 和量化;二面考 RL 熵值与 KL 监控、KV Cache 原理与显存优化、vLLM 与 SGLang 加速机制对比、PPO 与 GRPO 的细节差异、VLM 训练阶段与业务指标归因。

2026-10

腾讯 大模型算法一面二面:GRPO 的信用分配、Agent RL 为什么训崩与蒸馏的边界

腾讯 大模型算法 一面、二面

腾讯大模型算法一二面:一面深挖 Agentic RL 的训练崩溃、GRPO 的信用分配与 DAPO 的改动,二面追问 GAE、Reward Hacking 检测与在线策略蒸馏能否替代 RL,最后手写流式图像差异的最小包围矩形。

2026-10

腾讯 WXG 大模型算法暑期实习面经:强化学习、LoRA 与手撕 PPO

腾讯 大模型算法

腾讯 WXG 大模型算法暑期实习面经:从论文与强化学习算法(GRPO、PPO、reward model)与马尔可夫决策过程切入,追问 bf16/fp16/fp32 的精度与计算、LoRA 微调细节与量化,随后是大段手撕——实现 PPO、推导 MDP 的 γ 阈值、估算 SFT 参数量与显卡利用率、判断相交链表,以及如何让全连接层输出子空间基底接近标准正交基。

2026-10

腾讯 WXG 大模型算法暑期实习面经:强化学习、LoRA 与手撕 PPO

腾讯 大模型算法

腾讯 WXG 大模型算法暑期实习面经:从论文与强化学习算法(GRPO、PPO、reward model)与马尔可夫决策过程切入,追问 bf16/fp16/fp32 的精度与计算、LoRA 微调细节与量化,随后是大段手撕——实现 PPO、推导 MDP 的 γ 阈值、估算 SFT 参数量与显卡利用率、判断相交链表,以及如何让全连接层输出子空间基底接近标准正交基。

2026-10

腾讯 WXG 大模型算法岗三面:RL 理论连环追问

腾讯 大模型算法 三面

腾讯 WXG 大模型算法岗三面面经,面试官是 RL 出身,开场十分钟全是理论轰炸且要求公式推导与符号规范:Agentic RL 与 RLHF 的差异、GAE 与 λγ 取值、PPO Clip 与 KL 约束、DAPO、GRPO、DPO 与熵坍塌一路追问,再延伸到多轮 reward 设计、多模态融合与幻觉缓解,最后手撕图像差异最小包围矩形。

2026-10

蚂蚁集团大模型算法面经合集:并发基础与训练推理

蚂蚁集团 大模型算法 多轮面试合集

蚂蚁集团大模型算法岗六场面试合集:一面以线程池、锁与 JVM、索引与 B+ 树、Redis 与秒杀链路打底,二面追问线索评分 ROI、Prompt 强制 JSON 输出与幻觉兜底、800ms 链路拆解;后几面深入 MLA 与 KV Cache 优化、蒸馏数据清洗与 w8a16 量化,以及 PPO/GRPO 的损失、KL 估计与 rollout 资源关系。

2026-09

蚂蚁集团大模型算法岗面经

蚂蚁集团 大模型算法

蚂蚁集团大模型算法岗多轮面经汇总,重点考察 PPO/GRPO 的四个模型与损失函数、KL 估计方式、rollout 与 batchsize 的资源关系、拒绝采样、Agent 记忆系统设计与 vLLM 推理加速,另有 RAG 混合检索与术语消歧、LoRA 微调层选择、高并发低延迟部署等落地问题。

2026-09

百度多模态大模型一面(9.10):PPO 与 GRPO、DPO、持续学习、8 卡 A100 跑 7B VL 的 GRPO

百度 多模态大模型算法 一面

百度 2026 年 9 月 10 日多模态大模型一面:项目深挖后进入训练目标与持续学习(PPO 与 GRPO 的差异、为什么做 DPO、持续学习的方法分类),再到 8 张 A100 训练 7B 视觉语言模型的 GRPO 场景题(Rollout / 推理加速、训练加速、验收指标)、通用训练加速手段、DeepSpeed ZeRO 三阶段、多头注意力变体(MQA/GQA/MLA/滑窗/稀疏)与 verl 类框架的加速机制,最后手撕 MHA。

2026-09

华为大模型算法岗面经:LoRA、PPO 与 Transformer

华为 大模型算法

华为大模型算法岗面经,覆盖数据清洗与数据集构建、LoRA 微调原理、前向反向传播与参数更新、PPO 与 GRPO 与 DPO 的区别、多模态与智驾模型、ViT 与 VLA 原理,以及和为 k 的最长子数组算法题。

2026-09

快手大模型应用开发二面:Agentic RL 与 RAG 全链路

快手 大模型应用开发 二面

快手大模型应用开发二面:中段集中考 Agentic RL 的信用分配、PPO 的 Clip 与 KL 约束、GRPO 为何省掉 critic;其余覆盖 Agent 架构、RAG 切分与混合检索、幻觉归因、记忆冲突与 SSE 断点续传。

2026-09

小红书广告交易算法实习面试:KKT 条件与博弈论连环拷打

小红书 广告交易算法(日常实习)

小红书广告交易算法日常实习面试,全程围绕数学与强化学习展开:安全强化学习、为什么选 SAC 而不是别的算法、拉格朗日对偶与对偶形式、KKT 与 Slater 条件、Stackelberg 博弈和 Nash 博弈的区别,八股问 PPO/DPO/GRPO,手撕是网格路径计数。

2026-09