岗位职责
- 负责推理、评测、训练等平台业务的设计、开发和维护，完善任务编排、状态管理、结果管理及服务衔接能力，提升平台的稳定性、可扩展性和业务迭代效率；
- 建设 Token Plan、模型单元等平台业务，完善套餐权益、配额管理、服务配置及生命周期管理能力，提升推理服务的产品化能力与业务交付效率；
- 建设智能路由、Harness等平台能力，完善模型选择、任务编排、工具调用和执行反馈机制，平衡模型效果、响应时延、可用性与调用成本；
- 负责图像、音频、视频等多模态推理能力的接入与服务化，支持多模态输入输出、实时流式交互和异步任务，优化端到端延迟、可靠性与使用体验；
- 建设Chat/Response/Message三类推理协议的统一接入与兼容适配能力，完善请求响应转换、流式事件处理、工具调用适配及兼容性测试，降低模型与供应商接入成本；
- 建设内容审核、计量计费、限流、Tokenizer、Embedding 等通用能力，完善统一服务接口与调用链路，保障内容安全、用量计费准确性及多租户服务稳定性，沉淀可复用的平台组件。
职位要求
- 本科及以上学历，计算机、软件工程或相关专业优先；
- 熟悉分布式系统及常见后端技术，理解高并发、异步任务、缓存、消息队列和数据库设计，重视数据一致性、幂等性与异常恢复，能够根据业务特点选择合理的实现方案；
- 理解大模型推理服务的工程特点，熟悉模型 API 接入、流式响应、Token 与上下文管理，了解工具调用等机制，能够处理不同模型及供应商的接口与能力差异；
- 具备较强的系统设计和抽象能力，能够将具体业务需求转化为边界清晰、可扩展、可维护的平台模块，避免重复建设和过度设计；
- 具有较强的主动性、责任心和跨团队协作能力。
