岗位职责
- 引擎调优:负责 Android/iOS、与云端 Mimo 或本地 ExecuTorch/ncnn 的底层接入与硬件加速(NPU/GPU/Metal)。
- 效率突破:实现 Speculative Decoding (投机采样) 或 Prompt Caching,在手机端将 TTFT(首包延迟)降至极致。
- 性能监控:建立全链路监控指标体系,关注 Tokens/sec、ITL (Token 间延迟) 以及 Agent 后台运行时的功耗曲线。
- 资源调度:解决多 Agent 并发请求时的资源竞争问题,防止手机卡顿或发热降频。
职位要求
- 深厚的移动端开发功底(C++/Rust 为佳,Obj-C/Swift/Kotlin 为主)。
- 精通端侧模型量化技术(GGUF、EXL
- AWQ 等),能平衡模型精度与推理速度。
- 理解 Transformer 底层算子逻辑,有对 KV Cache 进行内存压缩或分页管理的实战经验。
- 硬核要求:能够从 Profiler 工具中定位瓶颈,并在极端网络/硬件环境下保持 Agent 请求的高稳定性。