岗位职责
- 评测与反馈平台研发:负责大模型评测与数据反馈平台的设计与开发。围绕任务构建、人工评测、模型对比及Badcase收集归因,打通“评测发起-反馈分析-迭代验证”的完整数据闭环,提升模型迭代效率。
- 自动化评测框架(Harness)建设:设计与研发高并发、高可靠的自动化评测底座。实现运行环境(Sandbox)自动配置、多端调度、任务自动质检,以及模型执行轨迹(Trajectory)、环境信息与最终产物的全链路采集,支撑复杂评测任务的高效评估。
- Badcase复现与Benchmark沉淀:建设线上真实Workspace与Badcase的采集、快照及复现机制。从真实业务场景中提炼高价值案例,构建高区分度、可复现的评测集,推动动态高质量Benchmark的自动化沉淀。
- 前沿评测机制探索与落地:主动探索大模型评测新范式(如Arena盲测对战、线上影子链路Shadow Mode、LLM-as-a-Judge等),将前沿评测方法转化为工程工具,并持续量化验证其对模型演进的收益。
- 跨团队协同与业务赋能:紧密协同算法、数据及运营团队,对齐模型演进目标与评测验收标准。以工程化手段驱动模型能力提升,推动方案高质量落地,持续跟踪实际效果,对最终业务目标负责。
职位要求
- 背景与经验:计算机、软件工程等相关专业本科及以上学历,3年以上后端或全栈研发经验;具备大规模分布式系统、研发效能平台或AI工程平台开发经验者优先。
- 扎实的工程研发能力:精通至少一门主流后端语言(如 Python / Go / Java),具备良好的系统架构设计与高并发处理能力;熟悉现代前端技术栈(如 React / Vue / TypeScript),具备独立交付高质量全栈平台的能力(或极强的后端能力配合基础前端开发)。
- 沙箱环境与自动化底座经验:熟悉 Docker、Kubernetes 等容器化与云原生技术,有代码沙箱(Sandbox)、虚拟化隔离环境、环境快照与复现(Workspace Snapshot)构建经验;熟悉分布式任务队列与多端调度机制(如 Celery、Temporal、Argo 或自研调度框架),接触过浏览器/终端/GUI自动化技术(如 Playwright等)。
- 大模型与评测领域认知:深入理解大模型(LLM)及 Agent 的基本原理与应用范式(如 Tool Use、Code Agent、Browser Use 等);熟悉大模型数据飞轮运转逻辑,了解主流评测方法论(如 LLM-as-a-Judge、Elo/Arena 对战机制、轨迹评估等)。
- 业务敏锐度与协同能力:具备优秀的工程抽象能力和创新思维,能够从复杂的算法诉求与业务痛点中提炼通用工程方案;沟通高效,具备极强的自驱力与 Owner 意识,能在快速迭代的大模型业务中拿到扎实结果。