岗位职责
1，负责开发和优化大模型推理优化和CV/NLP等模型推理； 2，持续优化大模型推理服务性能，提升吞吐，降低延迟并优化整体成本； 3，负责机器学习系统前瞻技术的调研和引入；
职位要求
1，精通Python，精通算法与数据结构，熟悉C/C++； 2，有深度学习应用加速和优化的经验，熟悉常见的加速技术，如剪枝、量化、分布式推理等，并能够根据不同场景和硬件平台进行针对性的优化； 3，熟悉LLM主流推理引擎，如TensorRT-LLM、vLLM等，熟悉常见的推理优化方法，如FlashAttention、PageAttention、Continuous Batching、Speculative Decoding等； 4，具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标； 5，熟悉 GPU硬件结构，熟悉TensorRT/Triton，有 CUDA开发、优化经验者优先。
