岗位职责
研究领域: 大模型 项目简介: 本期研究主题:真实任务的大模型体验评测与行为诊断。 大模型在知识问答和单轮任务上的表现,不能完整反映其在真实多轮工作中的交付质量、协作判断和用户投入。实际任务中,模型可能遗漏仍然有效的要求、沿用过期信息、在局部修改中破坏其他内容,或未验证结果便宣称完成;开放性任务还需要评价分析、取舍和表达质量。仅看最终答案或依赖单一模型评分,容易混淆任务失败、评价误判及工具或上下文问题。 本研究围绕真实任务的大模型体验评测与行为诊断展开,选取办公、代码或专业分析中的一个代表性任务族,结合授权案例与受控变体,研究可验证结果检查、证据驱动的细粒度评价及模型失败模式发现。金融、医疗等场景可用于专业验证,具体任务按数据和专家条件确定。 重点研究:1)如何将任务验收、跨轮行为与时间成本分开测量,避免相关指标重复计数;2)如何结合可执行验证、专家判据和经校准的模型评判器,降低风格、篇幅及答案形式带来的误判;3)如何从少量错误中形成可解释假设,并通过正常对照、独立变体和重复运行检验其是否稳定。每位实习生聚焦一个可证伪的问题,不要求独立建设完整评测平台。 研究价值:形成更可信的真实任务评测与模型行为诊断方法,帮助区分可复现的模型缺陷、评价误判及工具或上下文限制,为模型选择与后续数据改进提供依据。研究以独立样本上的验证和适用边界为核心,不以题库数量或统一体验总分替代研究价值。
职位要求
- 计算机、人工智能、数据科学、统计、人机交互或相关专业在读学生,硕士或博士优先,研究能力突出的高年级本科生亦可。
- 在大模型评测、模型评判器、错误分析、多轮交互、Agent评测、主动学习或统计测量中至少有一项实质研究经历,能解释个人贡献和实验取舍。
- 熟练使用Python完成数据分析、研究实现和实验排错,能够设计基线、对照、消融及独立验证,保留可复现实验记录。
- 能区分事实、假设与证据不足,愿意阅读原始案例并与领域专家协作,不将相关性直接解释为根因。
- 有可执行验证器、评测数据集、统计可靠性分析或跨任务泛化研究经验者优先;医学或金融背景为加分项,不替代研究方法能力。
- 能持续全职实习至少3个月,6个月优先;具备英文论文阅读和清楚撰写研究报告的能力。具体课题根据研究基础与可用条件确定。