岗位职责
- 负责将声学知识(人声和音乐)应用于文本到语音(TTS)与文本到音乐生成场景,从应用链路的各个环节提升声音质量,包括语音自然度、情绪表达、音色一致性,以及音乐的旋律优美度、节奏准确性等,以满足实际场景需求;
- 深入理解音乐结构(旋律、和声、节奏、情绪)与音频信号处理,将音乐理解相关特征引入 TTS/SVS 模型,提高音乐性、可控性与生成质量;
- 参与歌声合成(SVS)和声音克隆(VC)相关模型的研发与调优,包括音高曲线控制、韵律建模、音色迁移、多风格歌唱生成等;
- 跟进行业前沿的 TTS、歌声合成、音频生成模型技术(如 Diffusion、Flow Matching、GAN、Neural Codec、音频 LLM 等),并将其有效应用于实际业务场景;
- 构建与维护大规模音频与语音训练数据集,设计高效的数据清洗、标注、增强、去噪与特征提取流程;
- 分析与解决应用中的关键问题,如音质退化、发音错误、韵律异常、音色偏移等,并持续优化模型性能;
- 与音乐制作、产品、内容团队协作,推动模型在 AI 音乐创作、AI 歌手、AI 语音助手、语音互动等场景的落地,并根据反馈持续迭代。
职位要求
- 计算机、人工智能、电子工程、信号处理或相关领域硕士及以上学历;
- 扎实的机器学习/深度学习基础,熟悉 Transformer、Diffusion、GAN、Flow Matching 等主流生成模型;
- 精通 Python,熟练掌握 PyTorch/TensorFlow 等主流深度学习框架;
- 熟悉音频处理基础,如 STFT、Mel 频谱、f0 提取、音频编码、声码器(Vocoder)等;
- 具备 TTS、VC、SVS、音频生成或语音模型相关的项目经验;
- 具备大规模分布式训练经验,包括数据并行、模型并行、流水线并行等;
- 良好的问题分析与解决能力,拥有优秀的沟通能力与团队合作精神。 【优先条件】
- 有音乐基础、具备音乐素养、热爱音乐,或有实际音乐创作经验者加分(乐理、编曲、歌唱等);
- 对 AI 音乐创作、音乐生成模型(如 Suno、MusicGen、SunoChorus)、AI 作曲工具链有深入了解者优先;
- 熟悉 CosyVoice、VITS、DiffSinger、FishSpeech、BigVGAN、Neural Codec 等主流 TTS/SVS/音频生成开源项目;
- 对开源社区有贡献,或拥有高质量 GitHub 项目/技术博客;
- 在 ICASSP、ISMIR、Interspeech、NeurIPS、ICML、ACL 等会议发表过语音/音频/音乐生成相关论文者优先;
- 熟悉大规模数据处理技术(Hadoop、Spark 等)者优先。