岗位职责
研究领域： 数据合成与标注 项目简介： 本项目研究面向评测与数据驱动的Agent持续改进：发现能力短板，优化训练数据与监督方式，改进 Agent 的运行系统，并验证每一轮改进是否真实、稳定、可控。 项目关注两条技术路径：训练时改进通过调整数据和监督信号更新模型参数；测试时改进在模型参数不变的条件下，优化指令、工具调用、工作流程和结果检查等运行机制。两条路径由评测诊断连接，并以独立测试结果决定下一轮改进方向。 研究面向Personal Agent、医疗agent、办公agent等复合型agent场景。此类任务既要求结果正确，也关注执行过程、场景适配、时间和成本。现有方法面临三个相互关联的问题：评测诊断能力不足，单一分数难以解释 Agent 在哪里、为什么失败；监督信号利用不足，专家标注昂贵，自动评分可能带有噪声，整体奖励难以指出应修正哪些行为；改进收益缺乏独立验证，短期得分上升可能只反映对已见题目或评分规则的适应，甚至伴随旧能力退化、成本增加或安全边界失效。 项目以“目标与标准 → 评测诊断 → 数据与监督生产 → 训练时／测试时优化 → 独立验证 → 下一轮改进”为总体路线，从四个方面开展研究：
- 建立可诊断的评测体系。 对任务结果、关键执行步骤、开放式质量、资源消耗和风险分别设定指标。将专家经验整理为逐项评价标准（Rubric），检验自动评分与专家判断是否一致；对工具操作等客观要求，结合实际执行记录与程序检查。通过失败案例分析，区分知识不足、规划失误、工具使用错误和评价偏差，使评测结果能够指向具体改进方向。
- 研究训练时的数据与监督优化。 根据评测发现的短板，选择或生成更有训练价值的样本；用少量专家标注校准自动标签和奖励，筛除或减弱不可靠信号。进一步研究如何将逐项评价标准转化为训练奖励，并把反馈分配到相关步骤或局部行为。通过对照实验，比较半监督学习、噪声处理、数据筛选和过程监督对能力、训练稳定性及标注与计算成本的影响。
- 研究测试时的 Agent 运行机制优化。 在模型参数不变时，针对失败原因调整指令、工具选择、工作流程、记忆使用和结果检查机制。这些机制共同构成 Agent 的运行系统（Harness）。对每项改动记录修改内容、原因和实验结果，并在未参与优化的新任务上比较改动前后的效果。
- 验证持续改进与递归自我改进。 除检查单次改动，还要观察新能力能否在后续版本中保留，错误经验或恶意内容是否被继承，原有能力、权限边界和安全要求是否仍然有效，以及人工停止和回退能否执行。进一步研究递归自我改进（RSI）：当系统修改“以后如何发现问题、选择改法和判断改动是否合格”的方法，并在下一轮继续使用时，从相同起点、使用相同资源比较新旧方法，检验改进策略本身是否有效。
职位要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的硕士或博士学位 -具有大模型、Agent、RSI 数据构建、训练优化、评测等相关领域的研究经验 优先录用： -对技术研究充满热情,在自学,问题分析、沟通和解决方面表现出色 -在国际会议上或核心期刊发表过一份或多份出版物或论文 -3个月以上全职工作
