岗位职责
- 针对预训练（含mid-training）模型在coding，cowork，长尾知识，长文本能力等方面的弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集。
- 整合高质量公开评测集和私有评测集。为不同训练阶段、不同领域、不同优化目标（模型结构/数据配比/主线模型迭代）定制评测方案，挑选质量最高、领域最合适、区分度最好的评测数据与指标。
- 与工程团队合作提高评测系统的效率与稳定性，完善评测故障分析与检测，并推动文本评测与Agent评测的自动化与可视化。
- 设计Pretrain + LightSFT的数据配比和训练策略并搭建相关pipeline，实时检测预训练模型的agentic潜力。
- 设计面向后训练agent能力导向的预训练评测范式，挖掘高预测性的external metrics以及internal indicators，寻找上限更高、潜力更强的预训练基座。
职位要求
- 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先。
- 优秀的数据sense，扎实的算法基础和 (vibe-) coding动手能力。具备对基础模型与Agent研发的热情，认同评测对模型优化的巨大价值。
- 有基模团队实习经历或相关领域顶会论文优先。有LLM评测经验，Benchmark构建经验或数据合成经验优先。
- 具备跨学科视野、良好的沟通能力和团队协作精神，能与数据、工程团队紧密配合推动落地。
