岗位职责
你将从基础设施的视角，参与到新一代基座模型研发中，包括但不限于以下工作： -算法与工程协同设计： 参与scaling law 和 新模型架构的迭代设计，提供专家级工程实现方案，确保新模型架构的可实现性、高效性及可扩展性。 -训练与推理系统优化：基于特定模型架构，系统性分析并优化训练/推理框架性能，识别并解决大规模集群环境下的关键性能瓶颈。 -高性能并行与算子优化：研发高效精细的分布式并行策略（如张量、流水线、序列并行等），并针对核心算子进行定制化优化，充分释放硬件计算潜能。 -前沿技术探索与落地： 跟踪并引入业界最新的 AI 基础设施技术，包括但不限于编译优化、新型硬件架构等，并将其应用于实际的大模型研发中。
职位要求
- 教育背景： 计算机科学、软件工程、人工智能或相关专业的本科及以上学历。
- 编程能力： 具备出色的工程实现能力，至少精通 Python 或 C++ 其中一种编程语言，并有扎实的数据结构和算法基础。
- 框架经验： 熟悉至少一种主流深度学习框架（如 PyTorch、TensorFlow）的内部机制，对 PyTorch 有深入理解者优先。
- 大模型经验： 熟悉大模型训练或推理技术，有使用 Megatron-LM/Transformer-Engine , DeepSpeed 等大规模训练框架的实践经验。
- 系统能力： 具备良好的系统性思维和问题解决能力，能够从软硬件结合的视角分析和解决复杂的性能问题。
- 加分项： -熟悉 CUDA 编程，并有实际的 GPU 性能优化经验。 -熟悉底层算子库，如 Cutlass(cutedsl), cuBLAS 等的实现和优化。 -对 AI 编译器技术有深入了解，有 MLIR, TVM, XLA, IREE 等项目经验；或熟悉新兴的 Kernel aot/jit 编程语言框架，如 Triton, cutile 等。 -熟悉 SGLang, vLLM 等业界领先的高性能推理引擎或框架。 -有大规模分布式系统（如高性能计算、分布式存储、RDMA/NVLink 通信）的开发和优化经验。 -在顶级会议（如 ASPLOS、ISCA、OSDI、SOSP、MLSys、NeurIPS、ICLR、ICML）上有相关论文发表者优先。
