模型综合评估运营实习生-大模型数据服务中心

日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 大模型数据服务中心，是抖音集团旗下为大模型业务提供数据、评估、运营等专业解决方案的团队； 主要承接大模型数据生产、大模型评估及运营相关的业务，与研发、产品等团队紧密合作，在预训练、数据监督微调、模型强化学习、模型能力评估、产品运营等大模型全链路数据环节，共同推动模型能力持续提升与应用。

1. 负责评测集和评测体系维护：建设应用综合评测集，结合用户实际使用场景和使用体验，不断迭代评测集和评测体系，确保评测集长期有效、具代表性、能真实反映线上问题；
2. 搭建自动评估和评估体系：熟练使用PE/扣子/Workflow等工具，实现评估数据的规模生成与筛选，协同不同专项团队完成自动评估系统搭建与优化；
3. 负责问题发现、归因与策略闭环：基于测评结果、线上反馈与数据表现，识别关键问题，完成分层归因，输出可落地的优化策略并推动产品/算法/规则迭代形成闭环；
4. 探索自动链路或Benchmark：调研公开文献、公开评测集、评估方法，参与自建评测集等探索类工作，优秀成果可以支持学术论文发表。