部门介绍
火山方舟是火山引擎推出的一站式大模型服务平台,是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型,提供丰富的插件生态和AI应用开发服务,并通过稳定可靠的安全互信方案、专业的算法技术服务,全方位保障企业级AI应用落地。
- 定义Coding质量标准,评审大模型在编码任务中生成的多个候选实现,从功能正确性、架构设计、代码质量、性能表现、可维护性及用户体验等维度判断方案优劣,沉淀"什么是优秀实现"的评价标准;
- 建设大模型评测体系,围绕真实开发场景设计具有挑战性和区分度的评测任务,制定清晰、可执行的验收标准与评分细则,客观衡量不同模型的能力水平;
- 分析模型能力与短板,对模型输出进行深入测试和归因分析,识别模型在需求理解、方案设计、代码实现、调试修复等环节的问题,为模型优化提供可解释、可落地的评测依据;
- 建设高质量训练与评测数据,参与Coding相关训练数据和评测数据的生产、合成、筛选与优化,并通过实验验证数据质量及其对模型效果的影响;
- 探索AI编程的新场景,跟踪Claude Code、Codex等前沿AI编程产品与技术进展,探索大模型在软件开发、游戏开发、交互应用等场景中的能力边界。
岗位职责
招聘官网暂未提供完整岗位职责,请前往官网核实。
职位要求
- 2027届获得本科及以上学历,计算机科学、软件工程、人工智能等其他相关专业优先;
- 具备扎实的编程基础,至少熟悉一个技术方向(前端/后端/移动端/Web3D&渲染/游戏开发均可);
- 深度使用过Claude Code、Codex等一线AI编程工具,能够熟练运用AI完成需求分析、代码生成、调试和迭代;
- 对大语言模型及AI Coding有基础认知,能够客观分析模型生成结果的质量;
- 具备良好的逻辑分析、问题拆解和文字表达能力,能将主观体验转化为清晰可复用的评测标准;
- 认真负责,对代码及数据质量敏感,具备良好的沟通协作能力。 加分项
- 有大模型评测、模型效果分析或AI产品测评相关经验;
- 参与构建过Coding评测集、内部评测体系或公开Benchmark;
- 发表过Benchmark、大模型评测、代码生成或智能体相关论文;
- 有完整的软件/游戏/AI Coding项目经验;
- 熟悉自动化测试、性能分析、代码审查或数据分析方法。