官网职位描述
团队介绍:负责抖音知识,兴趣,消费,生活,娱乐等垂类的创作者运营,主要目标为提升抖音内容供给,探索多元化的作者变现和商业模式,促进多领域的创作者更好地在平台经营和成长。同时也包括抖音中长视频、演出相关业务。 日常实习:面向全体在校生,为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、参与面向创作的多模态IP知识评测体系建设,覆盖知识与素材提取、检索、Agent调用及辅助生成等环节,围绕知识准确性、素材相关性、IP设定一致性和创作可用性建立评估标准; 2、将内容专家和创作者的判断转化为可执行的评测规则与评测集,探索模型裁判(LLM Judge)、规则校验及人工评估相结合的方案,持续提升自动评测与专家判断的一致性、覆盖率和稳定性; 3、结合线上负面案例、用户反馈及专项评测,通过样本分析、分场景评估和链路分析,定位知识数据、内容理解、检索、工具调用及生成等环节的问题,识别优化优先级; 4、协同产品、算法、研发及内容团队,将评测结论转化为数据改进、Prompt优化、策略实验或模型优化建议,推动效果验证与回归评测,形成持续迭代闭环。
职位要求
- 本科及以上学历在读;
- 有大模型应用、模型评测、多模态数据或AI产品策略运营相关项目或实习经验优先;了解大模型及多模态模型的基本能力与局限,理解RAG、Agent、模型裁判等常见机制,能够结合具体业务场景设计评测方案;
- 具备良好的逻辑抽象能力,能够从专家判断和创作需求中提炼可复用的评估维度、评分标准及判断依据,识别客观错误与主观偏好的差异;
- 具备良好的数据分析和问题归因能力,能够通过样本分析、分场景统计及对比实验发现问题、验证假设,有SQL或Python使用经验优先;
- 对IP内容及视频、游戏、小说等创作场景有兴趣,具备较强的自驱力和沟通协作能力,能够推动评测结论落地并跟进优化效果。