岗位职责
- 提升产线效率:基于Agent框架实现检索、事实核查、代码运行验证、自动补全、错误提示等AI自主执行和决策功能。
- 提升标注/RL环境质量:专家能力评估与任务匹配(专家Profile建模),以及Reward / Verifier 设计。
- 评测体系:构建内部 Benchmark,衡量 Agent 辅助效果、质检模型的准确率/召回率、Reward 与人类判断的一致性。
职位要求
- 扎实的 LLM 知识:Transformer、预训练/SFT/RLHF、DPO、GRPO/PPO、Reward Model,熟练 PyTorch,熟悉 HuggingFace、vLLM / SGLang 等推理框架。
- Prompt 与 Agent 应用开发经验:多步推理、Tool-use、Self-consistency、Reflection、多 Agent 协作、LLM-as-Judge 的偏差校正(位置偏差、长度偏差、自我偏好)。
- 有 RLVR / 可验证奖励训练经验,了解 Reward Hacking 的典型模式及防御。