岗位职责
- 搜索离线核心架构建设：负责千问搜索收录调度、页面解析、内容理解、索引建库等核心链路的架构设计与系统研发，打造高吞吐的搜索数据基础设施；
- 收录效率与效果优化：制定并落地网页链接调度、数据采集策略、去重策略、质量评估体系，持续提升搜索数据的覆盖率、时效性与数据质量；
- 通用数据平台建设：构建支撑万亿级链接、千亿级网页/图片数据的采集、分析、存储及处理平台，具备高扩展性，提升团队整体数据处理效率；
- 性能与成本优化：针对大规模分布式数据处理场景，持续优化系统吞吐与资源成本，确保核心链路高效稳定运行。
职位要求
- 计算机相关专业本科及以上学历，优异者条件可适当放宽；
- 精通C++/Python/Java至少一种编程语言，具备扎实的数据结构、算法、网络和操作系统基础，编程基本功过硬；
- 具备丰富的分布式系统开发经验和性能优化经验，有百亿级以上大规模数据处理的实战经历；
- 具备优秀的学习能力和分析问题能力，勇于挑战复杂技术难题；
- 具备良好的团队协作和沟通能力，有强烈的责任心，能够有效推动跨团队项目落地。 加分项
- 有搜索引擎效果优化经验者优先，包括但不限于排序策略、召回优化、离线内容理解与质量评估等；
- 有Hadoop、Spark、Flink、HBase等分布式计算/存储平台的深入开发经验者优先；
- 有大规模爬虫系统建设经验者优先，包括抓取调度策略、压力控制、代理池管理、JS渲染、反封禁对抗等。
