岗位职责
- 设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。
- 定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。
- 针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。
职位要求
- 硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。
- 深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。
- 熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。
- 具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。
- 扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。
- 能独立定义评测方案并推动"评测—数据—训练"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。 加分项
- 有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。
- 熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。
