岗位职责
你将围绕 Harness 优化、自进化框架和智能评测,打造让 Agent 持续变好的平台能力,负责以下一项或多项工作:
- Harness 工程与效果优化: 深入自研分布式 Agent Runtime 和 Framework,针对工具调用准确率、结构化输出遵循、长上下文保持、多步任务稳定性等关键问题,系统优化 Context Engineering、Memory 管理、工具编排、Prompt 策略等 Harness 核心模块,在规模化运行中兼顾效果、稳定性和成本。
- Agent 自进化框架: 设计并落地 Agent 自进化机制,让 Agent 能从线上执行轨迹和用户反馈中持续积累经验,并自动优化策略、Prompt、Skill 和记忆。打通"线上运行 → 问题发现 → 策略优化 → 效果验证 → 自动上线"的闭环,在不依赖模型重训的情况下实现持续进化。
- 评测智能化: 为 Agent 全生命周期搭建自动化评测体系(LLM-as-Judge / Auto-Rater),设计符合 Harness 标准的 Rubric 和量化指标,并持续校准评测结果和人工判断的一致性。这套评测要为自进化闭环提供可靠的效果信号。
- 效果归因与诊断: 搭建系统化的归因分析能力,把效果问题准确定位到模型、Context 构造、工具调用、记忆管理、Runtime 调度等具体环节。目标是从"人工逐条看案例"升级到"AI 自动诊断并给出优化建议"。
- Trajectory 数据建设: 搭建 Agent 执行轨迹的挖掘、清洗和沉淀流水线,把线上数据转化为评测集、经验库和优化素材。必要时配合模型团队提供高质量训练数据。
职位要求
- 计算机、数学、统计学等相关专业,硕士/博士优先,优秀本科生不受限制。有顶会论文(ACL / EMNLP / ICLR / NeurIPS / ICML 等),或是知名开源项目(LangChain / LlamaIndex / vLLM / AutoGen 等)的核心贡献者,可加分。
- Harness 工程能力: 深刻理解 Agent 架构范式(ReAct / Reflexion / LATS 等),熟悉 Context Engineering、RAG、Memory、Tool-Use 的实现原理。能针对具体场景系统设计和调优 Harness,不仅会用,还懂背后的系统约束、性能瓶颈和失败模式。
- 自进化框架经验: 熟悉 Agent 自我改进的相关方法,比如 Reflexion、经验库 / 记忆进化、Prompt 自动优化(DSPy / TextGrad 等)、Skill 沉淀与复用。能把"发现问题 → 自动优化 → 验证上线"设计成可持续运转的工程闭环。
- 评测与归因能力: 能独立搭建 Agent 评测闭环,熟悉 LLM-as-Judge 的设计方法、常见偏差和校准手段。擅长通过 Bad Case 分析,分清是"模型问题""Prompt / Context 问题"还是"系统 / 工具问题"。
- 工程实践能力: 精通 Python,有扎实的工程能力,能独立完成从方案设计、开发实现到线上验证的全流程交付。理解分布式系统、K8s、Serverless 等云原生概念,能和 Infra 工程师顺畅协作。
- 实验与量化思维: 能设计严谨的实验和 A/B 验证方案,搭建覆盖效果、稳定性、成本的多维指标体系,用数据驱动迭代决策。
- 好奇心和动手能力: 对 AI Native 应用充满热情,能快速复现最新论文和开源项目,主动把前沿技术转化为平台能力。对"让 AI 评估和改进 AI"有浓厚兴趣。