岗位职责
- 建设自有评测方法与 Benchmark。 面向百灵、医疗、金融等重点领域，识别公开评测未覆盖的能力和场景，主导任务、评测数据、评分标准及判分方法的设计与实现；通过新题和对抗测试，验证评测能否识别模型的能力短板与针对性优化；
- 建设 AntBench 模型评测指数（Index），支持选型与上线决策。 组合公开与自建 Benchmark，制定统一的计分与权重规则，将多项评测结果汇总为模型综合得分，并保留分项能力表现，结合效率与成本比较模型；通过跨基准表现分析、轨迹分析和对照复测，发现并解释模型的异常表现；
- 推动评测成果被行业采用。 将有差异化价值的评测方法、Benchmark 和工具沉淀为可复现、可复用的成果，发布研究报告或开源项目；推动外部机构在研究或模型评测中实际采用，并根据使用反馈持续改进，形成细分领域的评测影响力。
职位要求
- 对大模型能力有独立判断，能发现现有 Benchmark 尚未衡量的重要能力，识别评测何时失效，并提出有价值的新任务与研究方向；
- 有从问题定义到落地验证的完整研究或工程成果。主导过 Benchmark、评测方法或框架建设，能说明解决了什么问题、为何这样设计，以及成果如何被实际使用；
- 对测量质量有严格要求，具备扎实的统计与实验设计能力，能通过对照实验、重复采样和置信区间等方法，区分真实能力变化与评测噪声，并说明结论的适用范围；
- 亲自开发或改进过评分方法，例如为代码修复任务编写测试程序，或为问答任务设计评分细则与模型裁判（LLM-as-a-Judge）；能提供通过人工复核发现并修正误判的具体案例；
- 具备扎实的 Python 编程与调试能力，能亲自搭建实验、修改评测框架，并深入原始模型输出或 Agent 执行轨迹定位失败原因；在推理、代码、Agent、多模态或专业领域评测中，至少有一个方向的深入实践。 加分项
- 主导或共建过被同行引用、复现或采用的 Benchmark、开源评测框架，或有能清楚体现个人贡献的代表性论文与技术报告；
- 在 Agent 评测、代码评测或评测数据防污染方面提出过新的任务设计或评测方法，能说明相比已有方案，多测出了哪些能力或问题；
- 有大模型后训练、强化学习环境、Judge／奖励模型训练经验，能从训练机制解释评测现象，并将发现转化为数据、奖励或训练策略的改进；
- 兼具金融、医疗等领域知识，曾与领域专家或外部模型团队合作，将真实工作中的复杂判断转化为可验证的评测任务或评分标准；
- 有技术负责人身份带领团队或跨团队项目的经历，能确定评测研究方向与技术路线，拆解课题、确定优先级，组织技术评审并指导成员解决关键问题，对团队的技术取舍与交付结果负责，能提供评测成果被模型或业务团队采用的具体案例。
