岗位职责
研究领域: 数据合成与标注 项目简介: 本期研究主题:专家知识驱动的可验证数据合成、质量评估与目标模型感知的数据选择。 专业模型与智能体的数据建设,需要同时回答怎样生产可信数据,以及哪些数据对当前模型和目标任务更有用。专家经验若只保留为单条标注,难以在新任务中复用;自动合成与统一质量打分又容易遗漏关键错误、重复覆盖已有能力,甚至放大验证器偏差。数据通过质检、任务执行成功和训练后能力提高,是需要分别验证的三个问题。 本研究设置两个相互协作、可以独立完成的研究课题,每个课题配置1名研究实习生: 课题A:专家知识驱动的可验证数据合成与质量评估。研究如何把专家标准、正反例及分歧解释转成可更新的任务规范与验证规则,结合模型生成、自动验证和选择性专家复核,在固定专家预算下提高有效数据产出;从一个可核验任务族切入,校准验证器并用独立样本检验。 课题B:目标模型感知的数据选择与效用验证。研究如何结合模型表现、样本特征和低成本训练反馈,选择或重配对目标能力更有帮助的数据;固定目标模型、数据或训练预算,比较随机、相似度、难度或质量等简单强基线,通过受控后训练与独立评测检验收益及其他能力回归。 优先选择办公、代码或具备专家与验证条件的医疗、金融任务。两名实习生分别对具体研究假设、方法与实验负责,不要求完成整套生产或训练平台。 研究价值:把专家判断转成可复用、可修订的方法,并验证这些方法能否提高单位专家投入的有效数据产出;进一步建立面向特定模型与目标能力的数据选择方法,以实际训练与独立评测区分数据质量和学习收益。两条课题共同形成从高质量候选数据到有效训练数据的研究依据,支持不同任务复用经验证的方法,而非承诺统一的数据价值评分。
职位要求
共同要求:
- 计算机、人工智能、机器学习、数据科学、统计或相关专业在读学生,硕士或博士优先,研究能力突出的高年级本科生亦可。
- 至少有一项与所选课题直接相关的完整研究经历,能说明个人贡献、失败尝试、强基线及依据实验调整方案的过程。
- 熟练使用Python完成研究实现、数据处理和实验排错,具备英文论文阅读及清楚撰写技术报告的能力。
- 能持续全职实习至少3个月,6个月优先;愿意理解真实任务并与专家和工程团队协作。 课题A侧重: 有合成数据、知识获取、人机协同、主动学习、质量评估、模型评判器或可执行验证器经验;能设计独立抽检,分析专家分歧与验证器误判。有多轮轨迹或可验证任务生成经验者优先。 课题B侧重: 有SFT、DPO等后训练、数据选择、数据配比、影响估计或优化经验;熟悉PyTorch及实际训练与评测流程,能控制计算预算、定位训练异常并分析回归。有目标任务数据选择与小规模训练验证经验者优先。 医学或金融背景为加分项,不要求一人同时覆盖两个课题;专业标准与高风险裁决由相应领域专家参与。