岗位职责
- 搜索核心链路建设：负责千问搜索链接发现与调度、网页采集与解析、内容处理、索引构建等核心模块的架构设计与研发，支撑海量数据的持续更新和稳定供给。
- 收录效率与数据效果优化：围绕有效覆盖、收录时效、内容质量和单位有效数据成本，优化抓取优先级、更新策略、去重及质量评估机制，通过数据分析、实验和下游反馈持续验证收益。
- 大规模数据平台建设：构建支撑万亿级链接、千亿级网页及图片数据的采集、存储和处理能力，完善增量处理、任务编排、数据追溯与重处理机制，提高平台扩展性和团队研发效率。
- 性能、成本与稳定性优化：定位并解决分布式链路中的计算、存储、网络及调度瓶颈，建设容量评估、监控告警、故障恢复和灰度发布能力，持续优化吞吐、时延与资源成本。
职位要求
- 计算机相关专业本科及以上学历，具备扎实的数据结构、算法、网络和操作系统基础。
- 熟练掌握 C++、Python、Java 等至少一种编程语言，具备复杂工程的代码理解、设计实现、调试和性能分析能力，能够独立判断代码的正确性、可维护性及资源开销。
- 具备分布式计算或存储系统的生产研发经验，理解数据分区、并发控制、幂等、重试、背压及故障恢复等机制，能够结合业务约束做出架构取舍。
- 具备 AI 辅助研发实践，能够合理拆解任务、组织必要上下文，并通过代码审查、测试和性能验证评估生成结果；能够识别并修正工具输出中的错误或不合理设计。
- 具备良好的学习、沟通和协作能力，能够在需求不完全明确的情况下主动澄清问题、推动跨团队协作并完成交付。 加分项
- 有百亿级以上数据处理或大规模搜索、推荐数据链路经验，并有明确的性能、成本或数据效果优化成果。
- 有大规模爬虫建设经验，熟悉链接调度、站点压力控制、动态页面渲染、增量更新及复杂采集问题处理。
- 对 Spark、Flink、HBase 等计算或存储系统有深入开发、性能优化或复杂故障排查经验。
- 有内容理解、语义去重、质量评估、向量索引等实践；有大模型应用于数据处理链路的经验，能够权衡效果、吞吐与推理成本。
- 能够将业务目标转化为可衡量的技术指标，基于日志、数据分析、压测和实验定位问题，推动方案从设计、实现到上线验证，并对负责模块的效果和稳定性承担责任。
