岗位职责
- 设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等；
- 开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟；
- 针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化；
- 开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行；
- 开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能；
- 与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。
职位要求
- 计算机科学、电子工程、数学或相关领域的本科及以上学历；3年以上推理引擎、编译器或高性能计算相关开发经验；
- 熟悉C++/Python编程语言，具备扎实的编程能力和代码优化经验；
- 熟悉深度学习框架（如TensorFlow、PyTorch、ONNX等）的运行时机制；
- 熟悉计算机体系结构，了解CPU、GPU、NPU等硬件架构；
- 熟悉多线程编程、内存管理和性能优化技术；
- 良好的沟通能力和团队协作精神，具备较强的问题分析和解决能力。 以下为加分项：
- 熟悉模型量化、剪枝、蒸馏等模型压缩技术；
- 熟悉LLVM、MLIR等编译器技术；
- 有开源项目贡献经验；
- 有边缘计算设备或嵌入式系统开发经验；
- 有推理引擎（如TensorRT、OpenVINO、TVM等）开发或优化经验。
