岗位职责
- 数据体系设计：围绕评测业务，设计端到端的数据生产链路，包括 query 采集、分层抽样、标注体系、质检方案、版本管理；
- 评测数据集构建：主导高质量评测集（含 SFT 评测集、安全评测集、业务评测集）的建设，确保覆盖度、区分度与稳定性；
- 数据分析与洞察：基于评测结果做多维度数据分析（模型对比、版本对比、Bad Case 聚类、能力雷达图），为算法和业务决策提供量化依据；
- 标注体系搭建：设计标注规范、培训外包/众包团队、构建一致性指标（Kappa、IAA），持续提升标注质量；
- 指标体系建设：与算法、产品共建评测指标体系（自动指标 + 人工指标 + 业务指标），并推动指标上线与监控。
职位要求
- 数学/统计/计算机/数据科学相关专业本科及以上；
- 1 年以上数据科学 / 数据分析 / 数据标注体系经验，有 NLP 或大模型相关背景优先；
- 熟练使用 Python（pandas / numpy / sklearn）、SQL，能独立完成数据 pipeline；
- 熟悉常见统计方法（假设检验、置信区间、Bootstrap、相关性分析）；
- 对数据质量极其敏感，具备良好的抽样设计、偏差分析、异常检测能力；
- 有大模型评测集 / 标注平台 / Bad Case 分析经验者优先。
