岗位职责
- Agent 可观测性测试与链路验证 - 参与构建 Codewave AI harness 的可观测性测试体系，覆盖 Agent 执行轨迹、工具调用、阶段编排、token 消耗等关键节点的埋点完整性与准确性验证 - 设计并执行 trace / metric / log 链路的质量校验用例，定位埋点缺陷、链路断点与异常行为，推动可观测性建设闭环
- 评估数据集构造与治理 - 根据评测场景，构造结构化与非结构化测试数据集（代码、规格文档、对话历史、Agent 产出物、对抗性输入等），覆盖正常、边界与困难场景 - 维护评估数据的版本化与可追溯性，沉淀可复用的数据构造脚本与工具，建立"golden set"评测基线
- AI 产出的人工评估与标注闭环 - 对 LLM / Agent 的输出（代码、文档、执行计划、工具调用序列等）进行人工评估与质量打分，制定评估 rubric（评分准则），建立人审基线 - 参与评估规范的制定与迭代，校准人审与自动化指标（如 LLM-as-a-Judge）的一致性，沉淀标注样本集，支撑自动化评测与回归
- 评估基础设施与工具链协作 - 协助完善评估平台、数据管理与可观测性工具链，提升评测构造与标注的效率 - 将测试与评估中发现的问题转化为可执行的诊断（失败模式归类、根因定位），反向驱动 Agent 与 harness 迭代
职位要求
- 计算机科学、软件工程、人工智能专业本科及以上学历
- 熟练掌握 Java / Python / TypeScript 任一语言，具备扎实的编程基础与脚本编写能力
- 熟悉 Linux 常用命令，熟悉基本的数据结构与算法 加分项：
- 了解 LLM / Agent / RAG 相关概念，对 tool use、prompt engineering、Agent 编排（如 harness、planning）有学习或实践经历
- 了解可观测性相关概念（分布式追踪 trace、metric、log，或 OpenTelemetry 等）
- 有软件测试、数据标注、评测或测试开发相关经验，对数据质量与评估方法论有兴趣
- 有AI编程工具实践
