岗位职责
- 与产品经理、数据科学家/分析师、软件/机器学习工程师及其他相关方紧密协作,梳理数据需求,交付符合业务要求的数据解决方案;
- 评估、落地并维护数据基础设施工具与技术,支撑高效的数据处理、存储与查询;
- 数据流水线设计与优化: 1)设计、搭建并优化可扩展的数据流水线,完成海量数据的接入、处理与转换; 2)持续优化数据流水线、查询语句与处理流程,提升性能、降低延迟、增强可扩展性;
- 设计并实现高可靠性的数据模型与可视化方案,支撑复杂分析查询与报表需求;
- 数据治理与质量保障: 1)通过落地数据质量校验、验证流程与监控机制,保障数据的完整性、准确性与一致性; 2)编写并维护完善的数据资产文档,在数据用户群体中推广数据治理最佳实践。
职位要求
- 计算机科学、工程学或相关专业本科及以上学历;
- 至少1年数据工程师或类似岗位经验,服务过以数据为核心的业务场景;
- 扎实的SQL知识,有使用关系型与非关系型数据库的经验;
- 熟练掌握Python、Java、Go等至少一种编程语言;
- 具备数据建模与数仓架构、数据集成、ETL/ELT技术相关的行业实践经验;
- 具备高效的沟通能力,能够与跨职能团队顺畅协作;出色的问题解决能力,关注细节,能够适应工作环境。 优先要求
- 有Apache Hadoop、Spark、Kafka、Flink等大数据技术使用经验,处理过TB至PB级规模数据;
- 有Snowflake、Databricks、BigQuery等云数仓与现代商业智能/数据技术栈使用经验;
- 有数据治理、数据隐私与合规相关工作经验;
- 有与机器学习团队配合/参与机器学习项目经验者优先。