岗位职责
- 为公司 AI 和 BI 业务场景提供 data engineering 能力,包括可灵、商业化、电商、主站等业务;既支持结构化数据、也支持多模态数据;
- 团队有超过一半的 Apache Committer / PMC(Hudi / Paimon / Amoro / Flink/ RocketMQ),与开源社区紧密合作,持续构建开源影响力,有机会成长为 Apache Committer / PMC;
- 打造行业领先的数据湖服务,提供高效、极简的EB级数据存储与处理能力。推进快手数据体系的全面的湖仓化;
- 跟进学术界,工业界成熟的经验与技术,规划与推进快手数据体系的不断演进与迭代。
职位要求
- 本科及以上学历,计算机科学与技术、软件工程或相关专业方向;
- 熟练掌握Java/Scala/Rust,有扎实的计算机基础,对数据结构、算法基础有扎实掌握,对计算机体系结构、操作系统、计算机网络有深刻理解;
- 掌握数据湖理论与技术、文献,熟悉行业内成熟的数据湖服务,例如Hudi、Iceberg、Paimon、Lance 等,开源社区有贡献者优先;
- 掌握分布式计算系统基础理论、文献,熟悉行业内成熟的分布式计算框架与服务,例如Spark、Flink、Doris、Ray、Clickhouse,有大规模分布式计算服务研发与维护经验者优先;
- 熟悉向量化、索引设计、执行框架,SQL执行优化等技术者优先;
- 对技术充满热情,有较强的责任心和抗压能力,有较好的沟通能力,能快速融入团队,有较强的学习能力,能快速掌握最前沿的技术。