部门介绍
Data-语音团队致力于语音、音乐等大模型AIGC技术的研发和产品创新,我们的使命是通过多模态AIGC音频技术赋能内容创作和语音交互,让内容生产、消费与互动变得更加简单、沉浸、多元化。当前团队已有成熟的大模型语音合成、语音理解、音乐生成等多模态音频技术,并持续迭代大模型端到端语音交互方案等,一方面通过中台形式服务于公司众多业务线,例如豆包/Dola、抖音/TikTok、剪映/CapCut、番茄小说、海绵音乐等产品;另一方面,团队已经通过字节跳动旗下的火山引擎开放平台-语音技术和火山方舟平台,向众多企业开放技术成熟稳定的能力和服务。
- 负责字节跳动音视频全双工大模型SeedDuplex、SeedRealTime的语音数据与算法研发,建设覆盖倾听、抢话、打断、重叠语音、多人对话等复杂交互场景的数据体系;
- 负责全双工语音数据的采集、生成、清洗、标注与质量评估,研究数据配比、难例挖掘、合成数据及数据飞轮等方法,持续提升模型训练效率与能力上限;
- 参与语音及音视频多模态大模型的预训练、后训练与评测,优化语音理解、说话人感知、轮次管理、打断响应、抗干扰及低延迟交互等核心能力;
- 推动全双工大模型在豆包等场景落地,结合真实用户反馈开展误差分析与模型迭代,探索更自然、更实时、更具主动性的下一代人机交互体验。
岗位职责
招聘官网暂未提供完整岗位职责,请前往官网核实。
职位要求
- 2027届获得本科及以上学历,计算机科学、信号处理、人工智能等相关专业;
- 有语音理解、语音信号处理、自然语言处理等研究或技术背景,熟悉端到端语音者优先;
- 有预训练技术经验,包括但不限于语音自监督预训练(wav2vec2/HuBERT等)、高效训练、强化学习,参与过研发语音或NLP相关预训练模型及其下游应用者优先;
- 熟练掌握PyTorch等深度学习框架,Python编程语言,具备扎实的深度学习和机器学习基础;
- 发表过领域顶级会议文章(Interspeech、ICASSP、NeurIPS、ICML、ICLR、ACL等)、相关实习经验或者ACM竞赛获奖者优先。