岗位职责
- 提升实验平台智能化水平：采用AI-Native方式重构实验评估平台，基于平台海量的历史实验资产构建上下文获取与长期记忆能力，提供实验设计辅助、指标推荐、异常诊断、指标归因、实验自助回收、策略沉淀与挖掘等智能化能力，提升业务团队实验效率和决策质量；
- 建设AI应用的实验专项能力：面向豆包、剪映等业务的评估场景，支持文本生成、多模态生成、智能创作、推荐分发、Agent工作流等AI场景的实验设计、指标配置、样本管理、实验分析和效果诊断；
- 增强实验平台的AI应用评估能力：设计从离线评估、人工评估、模型评估到线上A/B实验的完整评估框架，在业界领先的实验评估平台基础上，建设模型离线Eval、Prompt/Agent策略评估、线上A/B实验、灰度发布和回滚机制之间的数据闭环能力；
- 建设开放集成与上下文协同能力：通过API/MCP/CLI/Agent Tool等方式，向业务系统和AI Agent暴露实验配置、指标查询、实验诊断、发布建议等能力，实现实验平台与模型训练平台、运营系统、发布系统的高效协同。
职位要求
- 具备优秀的平台产品设计能力，能够将复杂的AI评估、实验设计和数据分析问题抽象为标准化、可复用、可规模化的平台功能；
- 了解LLM/AI应用的常见评估方式，包括人工评估、模型评估、规则评估、Pairwise对比、离线评估集、线上实验等；能理解生成式AI输出非确定性带来的评估挑战；
- 是Agent产品的用户，熟悉Agent产品的各种形态，对Agent有极大的热情，对模型行为有判断力，对开发者体验及用户体验有强感知；深度使用过Claude Code、Cowork、Codex、Cursor、OpenCode、GitHub Copilot、Manus、OpenClaw、Hermes等类似产品，并将相关产品的使用融入到自己的工作和生活中；
- 能深入理解AI应用场景，将豆包、剪映等业务中的体验问题、模型效果问题和增长问题转化为可评估、可实验、可诊断的平台能力；
- 能与工程、数据科学、业务产品、运营、PMO等多角色协作，在不确定场景下定义问题、拆解路径、推动落地。
