岗位职责
- 负责LLM模型在应用场景下的评测体系构建，能客观、准确、全面的评估好模型真实价值并驱动模型/产品优化，产出评估报告；
- 持续迭代/完善评估体系，包括但不限于评估方法论、标准、Benchmark、工具平台的设计和迭代等，对产出质量和模型效果负责；
- 主动进行线上AB/用户数据/评估报告分析探查，发现潜在的问题与机会，给出数据支持、分析报告、问题解决方案建议；
- 负责跨多职能团队合作，推动关键问题迭代优化。
职位要求
- 本科及以上学历，有5年策略/数据分析产品经验/AI大模型经验者优先；
- 逻辑性强，有持续思考的能力和意识，能够不断探寻问题的本质；
- 对数据变化敏感，热爱用数据去衡量和表达，快速定位问题、提出优化方法、设计合理的验证方案；
- 对AI产品有热情和好奇心，了解AI Agent技术原理，关注行业前沿动态，愿意阅读最新论文和技术报告，能将技术趋势应用在日常需求上；
- 具备良好自我驱动力，结果导向，英语能作为工作语言者加分。
