【实习】基于大系统大算力的超大规模推荐模型建模（算法）-Data AML（北京/杭州）

Data AML是字节跳动的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 课题介绍： 大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，期望进一步通过算法与工程Co-design，探索推荐算法和大语言模型/多模态理解的深度融合主要研究方向包括：LLM4Rec、跨端跨场景的Foundation Model、千亿级参数规模的模型 和 多模态大模型。工程上研究方向包括多模态样本的高效表征、基于PyTorch架构的高性能推理引擎与训练框架构建，以及异构硬件在推荐场景下的性能极限优化；算法侧研究方向包括LLM4Rec技术路径的设计、千亿级底座模型的研发以及多模态协同训练（Co-training）等核心课题，旨在通过技术创新定义下一代工业级推荐范式。 课题挑战：

1. 千亿模型的训练和推理优化；
2. 多模态表征统一与高效融合难度大；
3. Foundation Model的设计和工程优化；
4. 算法工程协同设计与异构硬件适配复杂。 课题价值：
5. 技术价值：突破多模态表征融合、超大规模模型训练推理瓶颈，完善算法与工程协同设计体系，推动异构硬件适配与高性能框架国产化落地；
6. 业务价值：提升推荐精准度与泛化能力，突破现有推荐系统模态局限，赋能短视频、文本社区等多产品，降低算力成本，助力业务规模化增长。