岗位职责
负责端侧 AI 产品的模型管理与推理能力建设,围绕模型部署、运行、评测和调优,打造简单、稳定、高效的本地推理体验。
- 规划模型全生命周期体验,包括发现、下载、部署、更新、卸载和存储管理;
- 负责推理服务产品设计,覆盖模型加载、运行参数、服务启停、并发管理及异常恢复;
- 建立模型、推理引擎与硬件的兼容体系,为用户提供模型选择、部署配置和资源建议;
- 建设模型效果与推理性能评测能力,覆盖生成质量、响应速度、吞吐量、资源占用和稳定性;
- 设计推理服务的状态监控、资源展示、日志诊断和问题反馈机制;
- 跟踪开源模型、推理引擎及多模态技术发展,持续规划产品能力;
- 与算法、推理、系统和应用团队协作,推动产品从定义到上线交付。
职位要求
- 本科及以上学历、熟悉大语言模型和多模态模型,理解参数规模、量化、上下文长度和 KV Cache;
- 了解模型部署与推理服务,能分析模型、推理引擎和硬件资源对延迟、吞吐及显存占用的影响;
- 熟悉 OpenAI 兼容 API、流式输出、Embedding 和 Rerank 等常见模型服务能力;
- 能将复杂技术转化为产品方案,独立推进产品规划、落地和复盘,熟练使用 AI 工具辅助调研与设计;
- 有模型平台、MaaS、AI 基础设施或推理服务产品设计经验者优先。有 vLLM、SGLang、Ollama 等开源工具使用经验,或有端侧推理、模型评测、软硬件适配经验者优先。