岗位职责
- 行业模型后训练算法:跟踪并落地前沿后训练技术:高质量SFT数据工程与课程学习、多阶段对齐(DPO/PPO/GRPO/在线RLHF)、参数高效微调(LoRA/QLoRA/DoRA),针对金融、政务、能源等垂直场景产出可复用的后训练Recipe。
- 异构算力适配:针对NVIDIA、昇腾、沐曦、壁仞等不同架构设计后训练统一适配层,进行算子融合与硬件级性能调优,推动训练框架(ms-swift/LLaMA-Factory/DeepSpeed)的多硬件兼容与性能基线建设。
- 后训练系统优化:设计面向70B+模型的混合并行策略(DP+TP+PP+SP),优化跨节点通信(梯度压缩、计算通信重叠),实现千卡级后训练任务的弹性伸缩、故障自愈与Checkpoint异步持久化;探索MoE Expert并行与长序列(128K+)后训练系统优化。
- 客户支持:将后训练技术封装为平台能力,参与重点项目交付,解决实际后训练中的效率与稳定性问题。
职位要求
- 教育背景:计算机/AI/分布式系统等相关专业博士。
- 技术能力:精通Transformer架构与PyTorch源码级开发;有大模型微调或对齐相关研究经历(SFT/RLHF/DPO/KTO/GRPO等至少熟悉一种);有分布式训练实战经验(DeepSpeed/Megatron/FSDP至少熟悉一种);了解训练系统优化技术(混合精度、梯度累积、通信优化、显存管理等)。
- 编程能力:熟练掌握Python,有CUDA/C++高性能计算经验者优先,有自定义算子开发经验者加分。
- 经验要求 有大模型后训练(SFT/对齐/领域适配)完整项目经验者优先;多硬件适配经验、开源框架贡献(ms-swift/LLaMA-Factory/DeepSpeed/Megatron等)者加分;顶会/顶刊(NeurIPS/ICML/ICLR/ACL/EMNLP/OSDI/ATC等)论文者优先。
- 其他要求:具备系统性思维和独立解决复杂问题的能力,良好的沟通协作精神,对大模型后训练技术有浓厚兴趣。