FlashAttention 面试题
共 12 篇真实面经 · 涵盖 字节跳动 / 科大讯飞 / 某公司 / 深度求索 / 禾赛科技 等 11 家公司
字节跳动 AI Agent 开发二面:从 Prefill/Decode 问到沙箱边界,十问全是工程判断
字节跳动 AI Agent 开发二面十问,前五题在模型服务层:Prefill 与 Decode 的工作差异与优化重点、变长请求同批的 padding 浪费与按长度分桶的代价、FlashAttention 是否近似、商品资料复用能否命中前缀缓存、命中率高但端到端没变快怎么验证;后五题在 Agent 层:推测解码的接受与修正、程序化工具调用与逐次工具请求的差别、依赖图的最短耗时计算、代码预筛素材后如何保留可核实证据、模型写代码调工具时沙箱要隔离什么。
科大讯飞算子岗一面:SM 占用率、GEMM 计算量与 FlashAttention 迁移
科大讯飞 AI Infra 方向算子岗一面(线上单面,约 32 分钟),节奏是自我介绍与背景、硬件平台与工具链、项目深挖、GPU 体系结构、算子实现细节、大模型与 FA 连续追问、软性与反问,无手撕无笔试。问题包括 SM 占用率、GEMM 计算量、计算/访存/通信瓶颈的判断、为何不用 cuBLAS、img2col、CPU SIMD、prefetch、Softmax 优化、Hopper 特性与 FA 迁移思路。
手推 self-attention 与 O(n²):除根号 d_k、多头与复杂度怎么答
一道高频面试题的真实追问链:面试官让手推 self-attention 并解释为什么复杂度是 O(n²),帖主第一次把 O(n²d) 与 O(n²) 说混被打断纠正;随后追问为什么要除 √d_k、多头到底在表达什么、复杂度里 n 和 d 各指什么,最后用「FlashAttention 是在 IO 层面优化、没有改变复杂度」收尾。
深度求索 AI 基础设施一面:FlashAttention 分块、NCU 指标与 RL 卡死
深度求索 AI 基础设施岗一面:从多卡训练耗时拆分问到 FlashAttention 各代与 Blackwell 架构,再追问 RL 链路卡死的复现证据、NCU 指标到瓶颈的判断,最后在线做岛屿数量。
禾赛科技 AI Infra 一面复盘:FlashAttention、NCU 指标与 RL 链路卡死
禾赛科技 AI Infra 一面:从多卡训练经验问起,深挖 FlashAttention 各代差异、Tiling 与分块搬运、Blackwell 与 H200 架构区别,再追 RL 链路的卡死排查与 NCU 指标判读,最后手写岛屿数量。
10.27 禾赛科技 AI Infra 一面复盘:FlashAttention、NCU 与 RL 卡死
禾赛科技 AI Infra 一面复盘:多卡训练耗时拆分、FlashAttention 的 tiling 与硬件代际、RL 链路卡死的排查、NCU 指标与 warp 分支发散、跨方向协作,以及岛屿数量。
理想汽车算子岗一面:确定性 Attention 反向、通信卡死与 FlashAttention
理想算子岗一面复盘:围绕一个代表项目深挖到根因定位与多卡复现,追问 AI 协作里如何审核模型产出、FlashInfer 通信卡死的状态标记问题、TensorFlow 算子适配与长跑崩溃、Mooncake 开源贡献,最后落到 FlashAttention 的分块与 Online Softmax 更新过程。
10 月大模型推理五场面试合集:量化、KV Cache 与 CUDA 执行机制
10 月大模型推理五场面试合集:后摩智能问浮点格式与 KV Cache,腾讯 WXG 追问 CUDA 执行机制,地平线考区间拆分,字节 Data 问分级存储,阿里千问聊量化与 PTQ、QAT。
清微智能一面(高性能):FlashAttention、FP16/BF16 与 SpMV
清微智能高性能一面(25 分钟,无手撕):实习与加速设备、DCU 是什么、算子功能与精度细节、矩阵乘优化、FlashAttention 的原理、CUDA 实现注意事项、FP16/BF16 特点与 float 位宽、SpMV 的稀疏格式选择。
华为 AI 方向机考 9 月 18 日:10 道选择加全局位注意力编程题
华为 AI 方向 9 月 18 日机考真题:10 道选择题覆盖 RoPE、矩阵维度、余弦相似度、评测指标、CUDA 共享内存、稀疏格点、正态分布、KV Cache、偏差方差与 Kernel 融合流量计算,外加一道 150 分的全局位与窗口注意力编程题。
拼多多 AI Infra 提前批一面:前缀和算法题与推测解码深挖
拼多多 AI Infra 提前批一面面经,约 30 分钟算法题(删除一段连续区间使剩余和能被 K 整除,追问前缀和取模加哈希优化),随后深挖推测解码项目与 vLLM、KV Cache、PagedAttention、FlashAttention 等推理框架原理。
小红书 大模型算法岗面经合集(三):Transformer 细节、DPO 与推理优化
小红书大模型算法岗九场面经合集(三),2025 年 12 月至 2026 年 1 月。覆盖 Transformer 结构与 GQA,微调 7B 显存估算、FlashAttention、DPO 与 RAG 微调,以及 PPO、GRPO 差异。