岗位职责
- 负责开发和优化LLM，VLM等大模型的推理引擎，构建适合AI Search,智能 Agent相关领域大规落地应用中的推理基础架构；
- 紧跟 LLM Infra 领域的前沿技术演进突破，将合适成果落地于实际应用；
- 与搜索算法同学深度合作，联合优化，设计实现能够给大型搜索系统带来代际更迭的大模型。
职位要求
- 熟悉AI基础硬件设置，有真实的大规模推理系统的设计开发部署经验；
- 熟悉各种主流LLM/VLM的模型结构，具有 vllm/sglang/TRT-llm等推理引擎优化实践经验；
- 熟悉LLM 推理常用加速方法（算子融合、量化策略、动态批处理、分布式KV 缓存优化等）；
- 有针对真实场景问题的LLM 模型结构和的设计优化经验。
