岗位职责
负责大数据分布式存储系统(HDFS etc.)的架构设计及研发⼯作。设计并开发业界领先的超⼤规模分布式统⼀存储系统,⽀撑数据仓库,搜索,⼴告,推荐,深度学习平台,实时计算等业务的稳定运⾏。
- 主导超⼤规模的下⼀代分布式元数据存储服务的设计⼯作。设计开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题;
- 带领团队重新设计及改造开源HDFS系统,以解决10k+集群规模下的NameNode性能及内存瓶颈问题,数据层热点,稳定性,⼀致性等挑战,提升扩展性以⽀持数据及集群规模的⾼速增⻓;
- 与上层应⽤团队深度合作,针对⼤规模查询引擎,深度学习平台等应⽤场景进⾏深度定制设计及优化,共同解决超大数据规模下的性能及稳定性挑战;
- 与IDC团队深度合作,参与存储与⽹络领域软硬件结合(RDMA/SPDK/NVMe-oF etc.)的⼯程创新探索, 设计开发底层OS及硬件友好的⾼性能存储系统。
职位要求
- 主导过⼤规模线上分布式系统的设计研发⼯作,熟悉了解业界前沿分布式存储系统的架构设计⽅案及design tradeoff;
- 拥有7年以上分布式系统,存储系统或数据库相关研发经验,熟悉分布式系统相关理论,如Paxos/Raft等;
- 熟练使⽤Java或C/C++,有多线程、异步编程经验,有扎实的算法基础,熟悉常⻅的数据结构。 加分项
- 参与过开源软件开发,为开源社区贡献过patch者优先;
- 在系统领域顶级会议 (OSDI/SOSP, USENIX ATC, USENIX FAST, Eurosys, VLDB, etc.) 发表过论⽂者优先