岗位职责
- 负责图像/视频/3D/多模态等方向AIGC大模型推理加速研究,包括模型蒸馏、模型量化、模型剪枝、异构卡适配、推理加速框架移植等;
- 负责大模型训练过程中的GPU资源管理、异构卡适配、提升GPU利用率等,以及业务落地过程中大模型的工程服务开发部署;
- 探索前沿推理加速技术,持续提升模型推理效率。
职位要求
- 本科学历及以上,人工智能、计算机视觉、计算机图形学、软件工程等相关专业,具有丰富推理优化实践经验者优先;
- 具有优秀的编程基础,熟练使用C++和Python编程语言以及PyTorch深度学习框架,熟悉GPU/NPU上的算子开发;
- 具有扎实的机器学习/深度学习基础,熟悉常见大模型架构和算子实现细节,特别是对Diffusion和LLM模型架构有深入理解;
- 熟悉大模型蒸馏、量化、剪枝等常用压缩技术,熟练使用常见推理加速工具,如TensorRT、vLLM等;
- 具有优秀的分析和解决问题的能力,对解决具有挑战性的问题充满激情,具备良好的沟通和团队合作能力。