岗位职责
- 建设大规模分布式网页采集系统，支持静态网页和动态页面抓取，完善限速、重试、故障隔离及监控机制，持续提升采集成功率、吞吐量和稳定性。
- 建设 URL 发现与管理能力，完成链接提取、URL 规范化、去重及抓取价值判断，识别爬虫陷阱，提升有效网页覆盖率。
- 建设智能抓取与数据调度体系，结合页面价值、更新频率和抓取反馈，优化任务优先级、增量抓取及资源分配，兼顾数据时效与采集成本。
- 建设网页理解能力，综合内容、DOM、URL、链接关系及视觉信息识别页面类型、内容入口和交互方式，探索 LLM/VLM 与 Agent 驱动的采集策略优化。
- 建设死链与页面有效性检测体系，识别软 404、内容删除、异常跳转等问题，区分永久失效与临时访问失败，支持复检、恢复识别及下游索引更新。
职位要求
- 计算机或相关专业，本科及以上学历；熟练掌握 Python，熟悉 Java、Go 或 C++ 中至少一种语言，具备良好的工程开发能力。
- 具备搜索引擎爬虫、网页采集或分布式调度相关经验，熟悉任务队列、去重、优先级调度、限速及状态管理。熟悉 HTTP/HTTPS、Cookie、缓存、重定向及常见网络异常，理解 HTML、DOM、JavaScript、URL 和页面链接关系。
- 理解网页分类、内容变化检测和页面有效性判断方法，具备系统设计、问题定位及评测能力，能够综合优化覆盖率、时效性、成本和稳定性。加分项有搜索引擎全网抓取、大规模 URL 管理或采集与索引联动优化经验。 加分项：
- 有更新频率预测、自适应调度、链接分析或网页近重复检测的生产实践。
- 有死链检测、软 404 识别、重定向分析或索引失效治理经验。
- 有基于 LLM/VLM 的网页理解、采集策略生成或 Browser Agent 项目经验。
- 有浏览器集群或高并发采集系统优化经验，熟悉 Kafka、Redis、Elasticsearch、Spark、Flink 等技术。
