岗位职责
- 负责AI模型以及大模型（LLM、VLM、VLA) 的部署和推理优化，结合AI软硬件特性实现优化计算和推理效率优化，包括但不限于多模型部署、KV Cache 管理、 Inflight Batching 等技术。
- 在边缘AI上适配SOTA开源框架和SOTA模型，分析解决适配过程中发现的功能、性能与精度问题，为客户提供问题支持和解决方案。
- 深入挖掘边缘AI软件栈和系统性能瓶颈，提出软硬件的加速解决方案。
职位要求
- 电子工程，计算机等相关专业硕士及以上学历。
- 具备3年以上AI推理优化相关工作经验，深刻理解并行计算和CUDA编程，熟悉TensorRT和TensorRT-LLM的模型部署和优化。
- 熟练掌握Python、C/C++编程语言，掌握AI Vibe Coding技术，良好的逻辑思维与问题分析能力。
- 熟悉主流深度学习框架Pytorch，推理框架vLLM、SGlang，TensorRT, TensorRT-LLM 等。
- 责任心强， 能够跨团队/部门协作分析与解决业务场景中AI软硬件全栈的功能、精度、性能问题达成产品化目标。
