岗位职责
-负责百度网盘、海外网盘数据体系及数据基础能力建设,持续提升数据开发效率、任务稳定性和平台使用体验 -负责大规模离线/实时数据处理链路建设与优化,包括任务调度、资源治理、性能优化、数据质量等 -参与数据计算架构升级与迁移,推动历史链路治理、任务优化和计算成本降低 -面向慢查询、低效 SQL、资源浪费等高频问题,建设智能化治理能力,结合大模型 / Agent 实现 SQL 分析、问题诊断、优化建议、自动改写及效果验证,降低人工排查和优化成本 -建设数据研发智能助手与自动化工具,探索 Agent 在任务诊断、资源推荐、异常归因、数据发现、研发流程自动化等场景的落地,提升产品、研发、策略等角色的数据使用效率 -针对高频数据研发问题进行平台化、自动化治理,通过机制和工具减少重复人工投入,持续提升整体数据研发效能
职位要求
-计算机或相关专业本科及以上学历,熟悉 Hadoop、Hive、Spark、Flink、Kafka、OLAP 等大数据技术中的一种或多种 -熟悉大规模数据处理、分布式计算及任务调度,具备 Spark/Hive SQL 性能分析、资源优化和问题排查能力 -熟悉 SQL 执行计划、Join/Shuffle/数据倾斜/资源配置等常见性能问题,有慢查询治理或计算成本优化经验者优先 -对大模型、Agent 有一定理解,有 LLM 在 SQL 优化、数据分析、任务诊断、研发效能等方向的实践经验者优先 -具备较强的编程能力,熟练掌握 Java、Python、Shell 等至少一种语言 -具备较强的 Owner 意识和独立解决问题能力,能够完成复杂问题拆解、方案设计、跨团队推进和落地 -具备平台化和自动化思维,能够将高频人工问题沉淀为通用能力,而非依赖长期人工服务