岗位职责
- 负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设。
- 设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估。
- 构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系。
- 推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性。
- 主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现。
职位要求
- 计算机或相关专业硕士及以上学历，3年以上测试开发或质量保障经验，有大模型/AIGC项目经验者优先。
- 精通Python/Java至少一种语言，熟悉主流测试框架（如PyTest、JUnit）及自动化工具链。
- 熟悉大模型基本原理（如Transformer、Prompt Engineering、RLHF等），了解训练/推理/部署流程。
- 具备数据驱动思维，能设计量化指标并基于数据驱动模型迭代与质量改进。
- 具备良好的跨团队协作能力，能与算法、工程、产品高效对齐目标与方案。 加分项：
- 有大模型自动化评测、COT（Chain-of-Thought）评测、对抗性测试等实践经验。
- 参与过模型评测标准制定、开源评测基准（如HELM、MMLU）适配或自研评测体系构建。
- 熟悉MLOps平台，有大模型CI/CD流水线建设经验。
