岗位职责
专注于大模型后训练,包括蒸馏+SFT/RL等相关技术,目标提升LLMs/LMMs的综合效果以及垂直场景效果,同时降低模型尺寸以减少部署成本,具体职责包括:
- 深入探索LLM蒸馏技术,对大模型进行极致的轻量化,同时尽可能减少模型的综合性能/垂直领域性能损失;
- 从数据合成、蒸馏算法等方面,提出创新优化技术,减少蒸馏带来的灾难性知识遗忘问题;
- 提出强化学习等创新方法,提升蒸馏后小模型解决复杂问题的能力,探索面向不同的复杂度任务自动调整推理模型思考长度的技术;
- 结合阿里云PAI平台产品服务,提供可靠高效的蒸馏+RL训练工具;
- 基于蒸馏+RL等后训练技术,面向Agent等LLM重点应用场景,构建业界领先的效果优化解决方案。
职位要求
- 扎实的算法和工程能力,优良的编程风格,熟悉Python/C++语言和常用设计模式,具备复杂系统的设计开发调试能力;
- 优良的沟通表达能力、团队合作意识和经验;具备快速学习的能力,以及深入钻研技术问题的耐心;
- 熟悉计算机体系结构基础知识,有扎实高性能计算(GPU/x86/ARM等)、或推理框架、或模型算法优化方面的经验。 加分项:
- 有突出的学术背景和创新研究能力;
- 对LLM等重点场景的系统优化或前沿算法有深入务实的经验;
- 具有GPU高性能Kernel开发和优化经验。