PPO 面试题
共 27 篇真实面经 · 涵盖 某互联网公司 / 字节跳动 / 深度赋智 / 吉利 / 华为 等 15 家公司
大厂推荐算法面经 10 问:DPO、GRPO、DAPO、GSPO 与强化学习训练细节
推荐算法岗一轮技术面,10 个问题全部落在强化学习与大模型后训练:DPO 损失函数、PPO / GRPO / DPO 的区别与 on-policy 归属、DAPO 与 GSPO 对 GRPO 的改进、process reward 与 outcome reward 的取舍、reward 上升而验证集下降的排查思路、VeRL 的同步与异步训练流程、训推不一致的成因,最后问 SFT 与 RL 哪个更重要。
字节搜索大模型一面:意图识别、RQ-Kmeans 与 GRPO 原理
字节搜索大模型一面(10 月 28 日,约 50 分钟),围绕两个项目深挖。项目一:搜索完整链路与负责部分、意图识别结果怎么用(是否作为模型特征)、链路时延与兜底、为什么用大模型判意图(输入输出、是否含用户行为、评估指标、基线)、样本标注定义/采样/量级/正负比例/是否与线上分布一致、微调做了哪些工作与其他微调方式、过拟合与灾难性遗忘怎么解决、OPD、显存不足的优化与分布式训练框架、推理优化的词表裁剪与推理框架、端侧资源消耗。项目二:生成 SID 的 Embedding 模型选型、RQ-Kmeans 的 K 选取与聚类评估、与普通 Kmeans 的区别、码本大小经验、生成式模型的输入输出与历史序列处理、GRPO 原理与奖励函数、为什么不用其他 RL 算法、loss 形式、DPO/PPO 原理、优化数学推理任务该选哪种。八股:召回/排序怎么做、双塔召回训练与对比损失、序列特征建模、DIN 多目标结构、self-attention 的 QKV 计算、降低 QKV 复杂度的方法。手撕:接雨水。
深度赋智 Agent 算法一面:PPO、DPO、GRPO 的差别与 Harness 的理解
深度赋智 Agent 算法一面:项目与经典方案的差异、PPO/DPO/GRPO 的对比、Agent 项目的模块与动机、对 Harness 与上下文压缩机制的理解。
吉利大模型算法一二面:Agentic RL、GRPO 与 Reward Hacking
吉利大模型算法一二级面:一面 70 分钟全是 RL 理论,从 Agentic RL 与传统 RL 的差异、长时序训练为什么崩、GRPO 如何在没有 critic 时估优势,到 PPO 的 clip 与 KL、DAPO 的 token 级损失与 clip-higher、动态采样的加速原理;二面 75 分钟抠论文细节,GAE 与 λ、上下文压缩后的信用分配、Reward Hacking 的检测信号、OPD 在线策略蒸馏与 RL 的边界,以及只有 8 张卡时怎么砍流程。
华为 AI 模型技术岗一二三面:后训练全流程、Agent 框架与科研追问
华为 AI 模型技术岗三面记录:一面围绕 LLM 后训练全流程选型、训练踩坑、OPD 适配性、SFT/PPO/GRPO 差异与 Reward Hacking,手撕要求手写 Attention 与 Decoder-only Mask;二面转向 Agent 工程与 DeepSeek Harness 框架,手撕是滑动窗口中档题;三面追问论文与实习产出、优势短板与成长规划。
快手大模型算法岗面经(四):八场面试真题,从 PPO 优势函数问到 vLLM 调度与 MLA
快手大模型算法岗(校招、实习、日常实习)八场面试真题汇总:从百度实习的细节追问开始,考察 MoE 与 Dense 的取舍、滑窗切分的 overlap、SFT 与 RL 的选择、PPO/DPO/GRPO 的原理与 token 级还是 sequence 级损失、优势函数怎么算;随后转向 Transformer 与 cross-attention、vLLM 的调度、分布式训练架构与 NCCL 算法、损失函数与 CoT、RoPE、MLA、动态分辨率与 Function Call,几乎每场都带一道手撕。
米哈游大模型算法岗:九问 Agent 训练、DPO 与长上下文外推
米哈游大模型算法岗的九道题(原帖以九张长截图发出):从 Agent 的推理与工具调用、轨迹留存、工具记忆模块、Agentic Loop,到训练曲线异常、DPO 后输出变长、退火阶段、GUI Agent 的研究价值判定,最后落到 RoPE 长度外推与 DPO/PPO 的对比。题目集中在大模型后训练与 Agent 工程的交叉处。
米哈游大模型算法岗面经:Agent 训练、DPO 与长上下文九问
米哈游大模型算法岗面经九问,主题是 Agent 的训练与评估:Agent 如何完成推理与工具调用、单条轨迹要留存哪些信息,工具记忆模块怎么设计、过期与冲突信息怎么处理,Agentic Loop 怎么用交互轨迹优化训练,训练曲线该盯哪些指标以及奖励上涨但成功率下降怎么排查,DPO 之后输出变长的归因,退火阶段的作用与验证,大型游戏 GUI Agent 的研究价值怎么判定,RoPE 模型的长度外推方案,以及 DPO 与 PPO 在优化目标、数据来源与训练流程上的区别。
月之暗面大模型算法一二面:GRPO 的每一个参数都要能往下推一层
月之暗面大模型算法一二次面:从 SFT 数据与基座选型问到 GRPO 的 group size、advantage 归一化、KL 位置、长度偏置与 DAPO/GSPO 的改动,最后现场手写 GRPO loss。
小米汽车大模型算法:GRPO 追问到第五层,DPO 与线上灰度
小米汽车大模型算法一二级面:一面从项目为什么引入 Agent 讲到 GRPO 完整训练流程、组大小 G 怎么取、规则 reward 与 reward model 怎么加权、Reward Hacking 的形式、Top-k 与 Top-p、PPO 与 GRPO 的差异、DPO 的 loss;二面问模型选型硬指标、没有完整监督轨迹时训练信号从哪来、业务规则写进 prompt 还是 reward、LoRA rank、灰度与吞吐、线上 reward 分布漂移怎么发现。手撕带障碍消除的最小路径和。
滴滴大模型算法岗面经:多头注意力、GRPO 与 RAG 全链路九问
滴滴大模型算法岗一面九问,一条线从模型原理拉到 RAG 工程:多头注意力的动机与单头局限、GRPO 与 PPO 在 RLHF 里的核心区别、vLLM 的吞吐来源、推荐系统为什么引入 RAG 及知识库的构建流程、嵌入模型为什么选 BGE 与 FAISS 索引怎么建、chunk 划分策略、什么场景需要 GraphRAG、超长输入的几种主流解法,最后手撕乘积最大子数组。
华为算法线下面三面连打:Agentic RAG、PPO 与 DPO 的取舍、GRPO 手撕与多卡推理 OOM
华为北京线下一二三面连打、每面之间几分钟到二十分钟出结果:一面像技术交流,深挖两段实习与 Agentic RAG 方案选型,追问项目用 PPO 还是 DPO 及两者取舍、样本动态加权与梯度解耦缩放怎么做,最后一道逻辑题结合 BFS;二面节奏快、压力面,问多卡部署框架、精度问题与 OOM 处理、vLLM 推理流程、PPO 奖励解耦、SFT 与 RM 数据格式、训练 OOM 的归因,手撕 GRPO 伪代码并追问 loss 里条件概率怎么算、参数如何更新;三面主管面偏聊天,问为什么实习这么多家公司、挑重要经历讲做事逻辑、论文创新点与 baseline 对比。
华为大模型算法岗一面:从 loss 不收敛问到 MoE、LoRA 与 GRPO
华为大模型算法岗一面:从实习与项目切入,连问 loss 不收敛的排查角度、Transformer 复杂度与优化、MHA/MQA/GQA 之外的注意力变体(点名 DeepSeek、Qwen)、FFN 结构与替代设计、归一化、MoE 路由与共享专家、前向反向传播、LoRA 原理、PPO/GRPO/DPO 对比与 GRPO 去掉 Critic 的原因、数据清洗与数据集搭建,最后手撕三数之和及其变体。
拼多多算法岗一面:特征共线性、GRPO 与股票买卖题
拼多多算法岗一面面经:围绕暑期实习项目深挖特征构建与共线性、类别标签设计、GRPO 落地与奖励函数,并对比 PPO/GRPO/GSPO/DPO,最后手撕股票买卖 122 与 123。
拼多多算法岗一面:特征共线性、GRPO 与股票买卖题
拼多多算法岗一面面经:围绕暑期实习项目深挖特征构建与共线性、类别标签设计、GRPO 落地与奖励函数,并对比 PPO/GRPO/GSPO/DPO,最后手撕股票买卖 122 与 123。
大厂推荐算法面经 10 问:后训练 RL 的算法对比与工程细节
一份大厂推荐算法方向的面经,十道题全部落在 LLM 后训练的强化学习侧:DPO 的损失函数、PPO 与 GRPO、DPO 的异同与 on-policy 归属,DAPO 与 GSPO 对 GRPO 的改进,process reward 与 outcome reward 的取舍,reward 上升而验证集下降的排查方向,VeRL 的同步异步与训推不一致,以及 SFT 与 RL 阶段的轻重判断。
腾讯 CSIG 后训练实习一二面面经:从位置编码到 PPO 与 GRPO
腾讯 CSIG 后训练岗日常实习一、二面共 18 道题:一面考位置编码演进(绝对位置编码到 RoPE 及后续优化)、视频 VLM 的帧采样与时序建模、多模态输入编码差异、长文档与超大分辨率适配、推理超参、SFT 与 RL 的特性与业务场景、数据飞轮、稀疏 Attention 和量化;二面考 RL 熵值与 KL 监控、KV Cache 原理与显存优化、vLLM 与 SGLang 加速机制对比、PPO 与 GRPO 的细节差异、VLM 训练阶段与业务指标归因。
腾讯 大模型算法一面二面:GRPO 的信用分配、Agent RL 为什么训崩与蒸馏的边界
腾讯大模型算法一二面:一面深挖 Agentic RL 的训练崩溃、GRPO 的信用分配与 DAPO 的改动,二面追问 GAE、Reward Hacking 检测与在线策略蒸馏能否替代 RL,最后手写流式图像差异的最小包围矩形。
腾讯 WXG 大模型算法暑期实习面经:强化学习、LoRA 与手撕 PPO
腾讯 WXG 大模型算法暑期实习面经:从论文与强化学习算法(GRPO、PPO、reward model)与马尔可夫决策过程切入,追问 bf16/fp16/fp32 的精度与计算、LoRA 微调细节与量化,随后是大段手撕——实现 PPO、推导 MDP 的 γ 阈值、估算 SFT 参数量与显卡利用率、判断相交链表,以及如何让全连接层输出子空间基底接近标准正交基。
腾讯 WXG 大模型算法暑期实习面经:强化学习、LoRA 与手撕 PPO
腾讯 WXG 大模型算法暑期实习面经:从论文与强化学习算法(GRPO、PPO、reward model)与马尔可夫决策过程切入,追问 bf16/fp16/fp32 的精度与计算、LoRA 微调细节与量化,随后是大段手撕——实现 PPO、推导 MDP 的 γ 阈值、估算 SFT 参数量与显卡利用率、判断相交链表,以及如何让全连接层输出子空间基底接近标准正交基。
腾讯 WXG 大模型算法岗三面:RL 理论连环追问
腾讯 WXG 大模型算法岗三面面经,面试官是 RL 出身,开场十分钟全是理论轰炸且要求公式推导与符号规范:Agentic RL 与 RLHF 的差异、GAE 与 λγ 取值、PPO Clip 与 KL 约束、DAPO、GRPO、DPO 与熵坍塌一路追问,再延伸到多轮 reward 设计、多模态融合与幻觉缓解,最后手撕图像差异最小包围矩形。
蚂蚁集团大模型算法面经合集:并发基础与训练推理
蚂蚁集团大模型算法岗六场面试合集:一面以线程池、锁与 JVM、索引与 B+ 树、Redis 与秒杀链路打底,二面追问线索评分 ROI、Prompt 强制 JSON 输出与幻觉兜底、800ms 链路拆解;后几面深入 MLA 与 KV Cache 优化、蒸馏数据清洗与 w8a16 量化,以及 PPO/GRPO 的损失、KL 估计与 rollout 资源关系。
蚂蚁集团大模型算法岗面经
蚂蚁集团大模型算法岗多轮面经汇总,重点考察 PPO/GRPO 的四个模型与损失函数、KL 估计方式、rollout 与 batchsize 的资源关系、拒绝采样、Agent 记忆系统设计与 vLLM 推理加速,另有 RAG 混合检索与术语消歧、LoRA 微调层选择、高并发低延迟部署等落地问题。
百度多模态大模型一面(9.10):PPO 与 GRPO、DPO、持续学习、8 卡 A100 跑 7B VL 的 GRPO
百度 2026 年 9 月 10 日多模态大模型一面:项目深挖后进入训练目标与持续学习(PPO 与 GRPO 的差异、为什么做 DPO、持续学习的方法分类),再到 8 张 A100 训练 7B 视觉语言模型的 GRPO 场景题(Rollout / 推理加速、训练加速、验收指标)、通用训练加速手段、DeepSpeed ZeRO 三阶段、多头注意力变体(MQA/GQA/MLA/滑窗/稀疏)与 verl 类框架的加速机制,最后手撕 MHA。
华为大模型算法岗面经:LoRA、PPO 与 Transformer
华为大模型算法岗面经,覆盖数据清洗与数据集构建、LoRA 微调原理、前向反向传播与参数更新、PPO 与 GRPO 与 DPO 的区别、多模态与智驾模型、ViT 与 VLA 原理,以及和为 k 的最长子数组算法题。
快手大模型应用开发二面:Agentic RL 与 RAG 全链路
快手大模型应用开发二面:中段集中考 Agentic RL 的信用分配、PPO 的 Clip 与 KL 约束、GRPO 为何省掉 critic;其余覆盖 Agent 架构、RAG 切分与混合检索、幻觉归因、记忆冲突与 SSE 断点续传。
小红书广告交易算法实习面试:KKT 条件与博弈论连环拷打
小红书广告交易算法日常实习面试,全程围绕数学与强化学习展开:安全强化学习、为什么选 SAC 而不是别的算法、拉格朗日对偶与对偶形式、KKT 与 Slater 条件、Stackelberg 博弈和 Nash 博弈的区别,八股问 PPO/DPO/GRPO,手撕是网格路径计数。