岗位职责
- 面向智能助手（千问智能助手）产品的领域数据供给，负责数据收录工程&策略开发，对齐下游RAG、智能问答、agent 決策的真实消费需求；
- 负责互联网网页、文档、图片、音视频等各类内容数据的采集、结构化、清洗、去重、标注、特征建设、数据可视化/仪表盘等相关流程和平台能力开发；
- 沉淀爬虫agent、知识体系构建agent、收录评估agent等相关ai/agent能力，负责harness工程开发、策略迭代、经验沉淀及成本优化，提升数据收录的整体效率与效果；
- 围绕各领域专业数据，基于用户需求、竞品对比、知识覆盖率等多种角度来度量数据收录水平&缺口，分析数据成分、构建评估体系、明确收录方向、制定收录策略。
职位要求
- 具备大规模内容数据处理经验，熟悉Ray、Spark、Flink、Paimon等分布式数据存储及实时&批次计算技术，对网页、文档、图片、音视频等各模态数据的采集、清洗、去重、结构化、特征建设、质量&权威性&时效性评估等关键流程有深入理解。
- 深刻理解并熟练掌握 AI Agent 的核心技术范式，熟悉主流Agent开发框架和Harness工程，具有Agent落地经验，能基于业务场景拆解和落地skill能力建设。
- 熟悉数据检索及大模型RAG相关技术，能基于线上用户case拆解来分析数据收录问题，指导数据发现、采集、处理和索引挑选各环节的数据策略优化。
- 具有领域专业数据知识体系构建及业务应用经验的优先考虑。
- 具有大规模全网&定向爬虫采集架构、渲染内核优化、反爬对抗等经验的优先考虑。
