岗位职责
- 参与大语言模型全生命周期质量保障,主导精度评测(Accuracy)、性能测试(吞吐/时延)、稳定性等核心指标验证;
- 开发自动化测试工具链:构建Prompt自动化生成与断言系统,研发分布式压测框架(模拟高并发用户请求),实现基于LLM的测试用例自生成方案;
- 探索AI赋能测试创新:应用大模型实现日志异常自动归因,开发基于Embedding的测试结果聚类分析工具,搭建质量评估Agent自动化闭环系统。
职位要求
- 计算机相关专业本科及以上在读,熟练掌握Python(必须),了解主流推理技术;
- 能独立开发测试工具(提交GitHub代码样例加分);
- 理解transformer架构,有HuggingFace模型测试经验者优先;
- 具备Prompt Engineering实践经验(提示词对抗测试案例);
- 熟悉LangChain/LLamaIndex等RAG测试方法论;
- 对AI测试前沿有洞察。 加分项:
- 在Kaggle/天池等平台发表过AI相关项目;
- 有模型部署测试(vLLM/Sglang/TensorRT-LLM)经验;
- 开源社区Contribution经历。