岗位职责
- 负责基于Ray的分布式计算平台建设与优化；
- 基于Spark引擎，参与AGI大模型预训练数据采集、去重、清洗等核心链路重构，从引擎层适配大模型数据处理场景；
- 引擎优化维稳：负责Spark、Celeborn、Hive等离线计算引擎的维护、性能调优、资源优化，解决海量数据场景下的性能与稳定性问题；
- 底层技术攻坚：结合AGI数据处理需求，参与计算引擎定制化改造，攻坚超大规模数据计算的高难度技术问题；
- 支撑训练、推理、多模态数据处理等AI场景的工程化落地。
职位要求
- 本科及以上学历，计算机相关专业；
- 熟悉Python/C++/Rust中至少一种编程语言，了解Ray或其他分布式计算框架；
- 熟悉分布式系统、容器化和云原生技术；
- 有分布式计算、Native Engine、资源调度经验者优先；
- 有AI平台、强化学习、多模态数据处理开发经验者优先。
