AI基建-大模型推理框架开发工程师(多模态)

- 负责多模态模型(图像、视频、音频等) 模型适配，性能分析和推理优化，支持实时语音和视频输入和输出 - 负责基于SGLang 等技术的多模态推理框架的开发和优化，包括分布式推理架构，推理引擎， 多模态cache管理，算子优化等 - 负责扩散模型推理优化包括并行优化，稀疏化，cache管理等，以及与语言模型推理架构统一

- 硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验，在深度学习领域有深入研究与实践。 - 精通 Python，熟练掌握至少一种深度学习框架（如 PyTorch），理解深度学习基础算法原理，熟悉基础Transformer，ViT， DiT等模型结构 - 熟悉大模型推理框架的基本原理和流程，了解 vLLM、SGLang, diffusers等大模型推理框架的核心技术和实现优先 - 有良好团队协作与沟通能力，能与不同背景成员有效沟通协作，责任心强、敬业热情，能承受工作压力，保证项目按时高质量交付。