岗位职责
- 推理框架设计与开发:负责端边侧AI推理框架持续迭代优化,支撑大模型在端边侧的高效部署
- 性能优化:针对GPU\NPU\CPU等不同硬件通过高性能算子开发、图优化等手段提升性能;针对大模型,通过KV Cache、量化等技术手段持续提升大模型的吞吐性能和降低显存占用
- 技术调研:跟进vLLM、SGLang等主流高效推理引擎技术迭代,调研前沿端边推理技术,沉淀通用推理工具与优化方法论
职位要求
- 计算机、人工智能、电子工程或相关专业本科及以上学历
- 具备优秀的逻辑思维和问题拆解能力
- 有AI工程化或推理优化相关经验优先