岗位职责
- 主导大模型评测集构建与迭代，制定规范与质量校验标准，保障评测数据质量与针对性，支撑模型全面评估；
- 设计算法与工具，实现评测结果自动化量化分析、缺陷定位及根因追溯，输出分析报告，为模型迭代提供数据支撑；
- 探索大模型缺陷检测和红蓝对抗技术，设计对抗性评测方案，挖掘模型安全漏洞和能力边界，提升模型鲁棒性与安全性；
- 跟踪前沿评测技术与Benchmark趋势，开展技术调研与创新实践，推动评测体系升级；
- 参与评测工具算法设计与开发，优化评测效率与自动化水平，提升团队研发效能。
职位要求
- 硕士学位及以上，计算机科学、人工智能、数学、统计学等相关专业；
- 扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型的特性与评测方法；
- 具备扎实的编程能力，熟悉PyTorch等深度学习框架，能独立完成算法实现与调试；
- 具备良好的逻辑思维与问题解决能力，对大模型评测、缺陷检测、红蓝对抗等领域有强烈的探索欲，能快速跟进前沿技术并落地实践；
- 具备良好的沟通协作能力与团队意识，能清晰表达技术思路，高效推进跨团队协作项目，具备一定的文档撰写能力。 加分项：
- 有大模型评测集构建、自动化评测工具开发经验，熟悉主流评测Benchmark者优先；
- 有大模型缺陷检测、红蓝对抗、安全对齐相关研究或项目经验者优先；
- 熟悉多模态大模型评测技术，有图像、文本跨模态评测经验者优先；
- 在顶会（如NeurIPS、ICML、ACL、EMNLP等）发表过大模型相关论文，或在算法竞赛中取得优异成绩者优先。
