岗位职责
- 面向多种算力硬件和高性能网络设计分布式训练架构，包括样本IO优化、计算图编译与执行、多维度并行策略、多模型交互流程等，支持万亿参数模型在几万张GPU集群高效稳定训练，实现多种模态的基座和推理模型的高效稳定训练。
- 面向多种算力、网络环境和应用场景，设计并实现高性能的模型推理架构，应用量化、剪枝等模型压缩方法，持续降低推理成本。
- 通过手工优化方法,对特化模型子结构和硬件设备上实现SOTA性能，持续迭代基于编译的优化方案，提升通用优化的适用性、优化效果以及对新硬件的覆盖能力。
- 管理及优化全公司算法团队硬件资源，通过算法预估与启发式策略，对全公司万级别节点的大规模GPU/CPU集群构建精细化调度服务能力，持续提升资源使用效率。 【为什么是我们】
- 业界前列的算力规模，海量数据和丰富的应用场景，挑战与机遇并存。
- 协同算法团队深度参与大模型项目，Codesign设计并训练行业领先的大模型。
- 从数据规模、集群体量、算法和业务复杂度多个维度提供了技术挑战和锻炼发展的机会，个人成长速度快。
- 追求卓越和鼓励创新的团队氛围。
职位要求
- 具备良好的计算机基础素养和分析解决问题的能力，熟练掌握C++或Python。
- 学习能力强，对机器学习系统优化有技术热情，富有极客精神。
- 熟悉PyTorch框架和TVM/MLIR等编译优化技术的优先。
- 熟悉GPU、NPU硬件架构，熟练使用CUDA，NCCL，RDMA编程的优先。
- 熟悉机器学习、深度学习算法，希望从事工程架构方向的优先。
- 有分布式系统、高性能计算实际项目经验的优先。
- 有开源项目贡献代码者优先。
- 有在OSDI、MLSys、NIPS、KDD、ICML等会议或期刊中有论文发表者优先。
