岗位职责
- 负责爬虫系统研发，通过Agent来持续优化网页、文档、图片和音视频数据采集能力，提升千问app toC业务场景的大模型语料及RAG内容数据收录效率和效果；
- 构建大规模分布式爬虫系统，优化链接去重、链接调度、js渲染、反爬对抗、结构化等关键环节的性能与稳定性，提升整体抓取成功率、准确性和时效性；
- 构建大模型数据获取平台，及时跟进业界SOTA模型的api/web抓取能力，优化token成本，支撑各业务场景的大规模数据合成需求；
- 构建爬虫Agent能力，覆盖数据源发现、抓取路径规划、自适应反爬、网页结构化、抓取资源调度等关键环节的skills，降低爬虫开发成本，提升爬虫数据采集的效率。
职位要求
- 有全网爬虫、定向爬虫或大模型api/web抓取的落地经验，熟练运用Scrapy、Playwright等框架搭建分布式爬虫集群，熟悉常见反爬对抗策略；
- 熟悉分布式数据计算与存储技术，如 Ray、Spark、Flink、Paimon 等，具备大规模数据处理系统设计与性能优化经验，能够与AI Infra及基础数据平台团队协同推进能力落地；
- 深刻理解并熟练掌握 AI Agent 的核心技术范式，包括任务规划（Planning）、记忆管理（Memory）、工具调用（Tool Calling/Function Calling）、思维链（CoT/ReAct）等；
- 熟悉主流Agent开发框架，如LangChain、OpenClaw等，具有Agent落地经验，能基于业务场景拆解和落地skill能力建设。
