岗位职责
1)构建数据库内AI推理系统架构,高效整合CPU,GPU等资源,设计数据迁移管理机制,优化模型(包括大模型和小模型)的核心性能指标; 2)研发具备负载自适应能力的推理框架,开发高精度指标采集模块,实现基于实时负载特征的动态参数调优功能; 3)研究在精度可接受范围内,多种近似推理及轻量化技术,包括采用模型压缩(如量化、剪枝)或近似算法(如近似最近邻搜索)降低计算开销。
职位要求
- 计算机相关方向博士,包括,计算机科学、人工智能、软件工程或相关专业;
- 有相关领域顶会论文(包括但不限于SIGMOD,ICDE,VLDB,ICML,ICLR,AAAI,NeuralPS等)发表;
- 熟练掌握Linux环境下的C++/Python/JAVA等1至2种以上语言,具备复杂系统的设计开发与调试能力;
- 熟悉至少一种大模型推理或微调框架,包括但不限于:DeepSpeed、LLaMA-Factory、vLLM、SGLang等;
- 有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动;
- 加分项:具有大型系统研发经验;或有大模型推理或微调相关的技术落地经验。