岗位职责
负责计算引擎的架构设计、核心模块研发与性能优化,建设面向数据要素流通场景的计算底座,包括:
- 负责计算引擎(数据引擎、机器学习引擎等)及配套 SDK/API/控制台的研发,支持复杂的查询、建模等任务;
- 建设统一任务提交与调度能力,支持多租户、作业管理、资源调度、日志诊断等能力;
- 建设数据全生命周期管理能力,包括数据读写、列级保护策略、数据血缘和审计日志等;
- 对接可信执行环境、远程证明、身份认证和密钥管理等安全系统,保障数据在计算过程中的机密性、完整性和访问边界可验证;
- 负责引擎的性能优化和稳定性建设工作。
职位要求
- 精通 Java/Scala/Rust/C++/Python 中至少一种,具备扎实的后端研发、系统设计和性能优化能力;
- 熟悉分布式计算或大数据系统,有Spark、Livy、Hive Metastore、Gravitino相关的工作经验优先;
- 熟悉 Kubernetes、容器化部署、服务治理、日志/指标/Trace、故障诊断和稳定性建设;
- 具备复杂系统排障和性能调优经验,有查询优化、存储优化相关的工作经验优先;
- 熟练使用AI工具,具备完善的AI Coding能力。