岗位职责
- 负责大模型网关的架构设计与核心代码编写,支撑高并发、低延迟的AI请求调度。
- 对接国内外主流大模型,实现多模型协议转换、动态权重路由及故障自动熔断降级。
- 负责新模型接入与效果验证,支撑算法研究员团队高效选型与使用。
- 负责网关可观测性与质量体系建设,量化成功率、延迟、流式完整性等核心指标,保障服务稳定性。
职位要求
- 有服务端研发相关经验
- 精通OpenAI/Anthropic接口细节,有协议转换经验
- 具备扎实的计算机基础(数据结构、计算机网络、操作系统)
- 熟悉MySQL数据库,深入理解 Redis缓存设计
- 有自驱力,能钻研