岗位职责
- 评测体系建设：负责大语言模型（LLM）及多模态模型（语音/视频/图片）的评测体系设计与搭建；
- 评测方案设计与执行: 构建自动化、可扩展的评测工具链，支持模型快速迭代验证。探索前沿评测方法，包括但不限于 LLM-as-a-Judge、动态评测、Arena 对战、复杂推理评估等；
- 模型能力诊断与优化协同：通过量化分析定位模型短板，与算法团队紧密协作，推动模型能力持续提升。
职位要求
- 计算机科学、人工智能、数学、统计学等相关专业硕士及以上学历；
- 精通 Python，熟悉 PyTorch/HuggingFace 生态。深入理解 Transformer 架构及大模型训练流程（预训练、SFT、RLHF/DPO）；
- 熟悉主流评测框架（如 OpenCompass、lm-evaluation-harness、HF Evaluate 等）及常用指标（BLEU、ROUGE、Pass@k、ELO 等）；
- 具备优秀的数据分析能力和系统化思维。良好的跨团队沟通协作能力，能清晰表达复杂评测结论。对 AI 评测方法论有热情，关注行业最新进展。
