岗位职责
- 参与大语言模型在不同垂类场景下的用户需求分析，设计并构建高质量评估集；
- 基于大语言模型的调用链路、工具使用、回复结果等信息，进行负面案例分析、错误定位与归因；
- 设计并完善大语言模型在基模、端到端、应用层场景下的自动化评估流程，包括数据预处理、Prompt设计、Agentic Workflow评估等；
- 沉淀评估方法论、评价标准和分析报告，推动模型能力与产品体验持续优化。
职位要求
- 硕士学位及以上，具备良好的逻辑分析、数据分析或研究能力；
- 掌握Python，具备数据清洗、数据分析、数据预处理相关项目经验，熟悉SQL用法；
- 熟悉大模型评估方法，能够围绕不同场景设计评估框架、拆解评估维度、制定评分标准，具备评估集构建、负面案例分析或自动化评估相关经验者优先；
- 熟悉Agent的常见组件、编排流程及应用场景，如工具调用、规划、检索、记忆、长尾任务等；
- 具备良好的逻辑分析能力、沟通协作能力，能够清晰、准确地表达问题、结论和改进建议，对AI技术和大模型应用场景有强烈兴趣，具备主动探索、快速学习和持续迭代的能力；
- 英语水平流利，能用于日常工作交流。 加分项：
- 计算机、人工智能、数据科学、统计学、数学等相关专业背景；
- 达到下述任意小语种的C1及以上水平：印尼语、葡萄牙语（巴西）、阿拉伯语、越南语、马来语、泰语。
