面灵AI→

阿里云 AI 评测工程师二面:benchmark 选型、评测集构建与 judge 模型

阿里云 AI 评测工程师(MaaS) 二面

阿里云 AI 评测工程师(MaaS 评测)二面,全程围绕项目与评测方法论:两个项目的关联、项目能否扩展到多模态(图片生成没有统一的 next-token 范式,难统一)、项目主题来源、benchmark 选型逻辑(baseline 普遍在用的必须对比、引用量作质量代理)、自建评测集怎么做、优秀评测集的标准(无硬性错误、领域与生成模型分布广且均匀、难度分层合理、长度/n-gram 等统计特征无显著差异以防 hack)、结果指标与 case study、想让结果更好有什么办法、实验结果偏差怎么分析、三个项目的区别与联系、近期火的 judge 类专用模型怎么看。反问时面试官反馈「回答、对做过事情的理解、对没做过事情的思路都 OK,不足是方向偏科研、生产级场景不广」,随后仍挂了。

2026-11

阿里云 AI 评测工程师一面:benchmark 怎么建、case study 怎么做、评测与测试的区别

阿里云 AI 评测工程师 一面

阿里云 MaaS 评测方向 AI 评测工程师一面:两段项目被逐层拆到数据来源、数据集构建、实验分析与 case 归类,概念题问「评测和测试有什么不同」,最后问想从实习里得到什么。帖主记录面试官偏好 case study,反问得到的团队工作流是「按场景定义指标 → 从真实用例收集数据 → 构建 harness → 产出报告给技术和产品」。

2026-11

知驿科技 Agent Memory 与协作算法实习:benchmark 构建、LLM Judge 与长程记忆设计

知驿科技 Agent 算法(实习)

清华系初创知驿科技的 Agent Memory 与协作算法实习面试,两轮都围绕评测与记忆展开。一面问背景项目的问题与解法、日常用什么 harness 与模型(作者用 Pi,被追问与 Claude Code、Codex 的对比)、有没有 benchmark 构建经历;反问里问到对 Mem0 这类记忆方案的看法,面试官的回答是「用户不在意记忆建模成数据库还是文档,重要的是好用」。二面深挖评测体系:确定性部分自建、总体质量用现成 benchmark 的 rubric 加 LLM-as-judge,以及 judge 的成本与偏差、评估是否反哺生成端,最后是一道开放设计题——怎么设计题库测系统的长程记忆能力。

2026-11