岗位职责
【课题背景】 大模型行业已进入多模型并存阶段:同一平台上同时挂着不同厂商、不同架构、不同参数规模的模型,从轻量小模型到旗舰推理模型,能力侧重与上下文长度也各不相同,价格相差一两个数量级,版本还以月级节奏更新。对用户而言,不同任务如何选择最合适的模型,是一个非常有挑战的任务:如何在保证效果的情况下,如何取得最优的成本。我们期望提供一套完整的、通用的模型路由智能选择解决方案。 【课题挑战】 模型路由的智能选择在行业属于热点问题,已有不少研究与方案,但普遍在初期阶段,存在以下不足:一是通用性不足,缺少行业公认的技术路径;二是落地案例与效果缺失(多停留在 benchmark 或模拟环境,缺真实业务的量化验证),三是缺少持续进化能力。 【拟取得的成果】 第一,智能选模。提供一套轻量的judge模型,根据输入请求和其它约束条件,选择性价比最高的模型。 第二,效果可评估。针对选模结果,建立一套可评估的体系和工程实现,积累可用于评测与改进的数据。 第三,持续优化。使用符合授权与隐私要求的数据,针对judge模型离线后训练,并实现持续进化。
职位要求
- 包含但不限于计算机、信息工程、人工智能、自动化、软件工程、电子工程、微电子等相关专业的博士;
- 具备至少其中一项技能/知识:推理 serving / 偏好学习与 bandit / 评测与数据合成/大模型后训练(SFT/RL)与代码生成;
- 有好奇心,自驱力强,有较好的学习能力和沟通能力,编程能力强;
- 良好的沟通协作能力,能和团队一起探索新技术,推动技术进步。