岗位职责
- 负责RAG数据工程架构建设，覆盖通用及领域专业的网页、文档、视频及结构化数据的清洗、处理与交付，支撑千问app toC业务场景的高质量RAG数据供给；
- 基于线上RAG知识库的召回/排序需求，设计合理的数据处理&业务特征算子，构建实时数据处理pipeline，与基础调度及AI Infra团队协同，实现大规模内容数据处理的效率提升和成本优化；
- 打造各领域数据仪表大盘，完善数据分类体系和数据画像，构建数据覆盖率、时效性、质量及分布合理性的趋势监控，优化数据漏斗分析和问题排查能力，提升业务数据整体迭代效率；
- 构建RAG数据分析和效果归因能力，基于用户真实需求来分析各领域知识&信息的供需缺口，指导数据采集与收录策略，通过数据飞轮来持续优化toC业务效果。
- 构建数据Agent能力，覆盖数据处理、问题排查、指标分析、效果归因等各环节，提升RAG数据建设的效率与效果。
职位要求
- 具备大规模内容数据处理经验，熟悉网页、文档、视频等各模态数据的实时&批次处理技术，对数据清洗、去重、结构化、特征建设、质量&权威性&时效性评估等关键流程有深入理解；
- 熟悉分布式数据计算与存储技术，如 Ray、Spark、Flink、Paimon 等，具备大规模数据处理系统设计与性能优化经验，能够与AI Infra及基础数据平台团队协同推进能力落地；
- 熟悉数据检索相关技术，能基于线上用户case拆解来分析数据收录问题，指导数据发现、采集、处理和索引挑选各环节的数据策略优化；
- 熟悉主流Agent开发框架，如LangChain、OpenClaw等，能基于业务场景拆解和落地skill能力建设，具有Agent实际落地经验。
