岗位职责
- 设计与实现电商场景多租户算力资源管理与调度体系(GPU/CPU/内存/网络),支持训练、推理、评测等多场景的容量规划、配额与隔离;
- 优化集群调度与队列策略(优先级、预占/回收、抢占/让渡),提升资源利用率与SLA稳定性;
- 构建适合电商场景的端到端FinOps能力(成本归因、预算控制、用量可视化、成本优化策略),持续降本增效;
- 打造弹性伸缩与自动化恢复能力(自动扩容/缩容、故障域隔离、灰度与回滚、容灾演练);建设可观测性与治理体系(监控/日志/Tracing/告警/审计),形成容量与性能调优闭环;
- 规划并实现大模型数据平台(原始语料→清洗→标注→去重→采样→版本管理→数据血缘→合规审计),支撑SFT/RLHF/评测等流程;设计高吞吐与低延迟的数据链路与存储方案(对象存储/数据湖/分布式文件系统/缓存),优化IO与数据冷热分层;
- 构建批流一体的ETL/ELT流水线与质量体系(规则校验、异常检测、覆盖率与漂移监控、指标看板);建设数据安全与合规机制(PII治理、脱敏/加密、访问控制、密钥管理、审计留痕),满足内部与外部合规要求;推进数据资产化(元数据、标签体系、数据/特征版本与复用),提升数据可发现与可复用性。
职位要求
- 扎实的工程背景:精通至少一种主流语言(Go/Java/Python),具备高并发、分布式系统设计与性能优化经验;
- 资源与调度:熟悉Kubernetes生态与GPU调度(如Volcano/Kueue/自研调度器)、容器网络与存储、服务编排与弹性伸缩;
- 存储与数据:了解对象存储/分布式文件系统/数据湖(Iceberg/Delta Lake)、消息与流处理(Kafka/Flink/Spark)、数据质量与血缘;
- 可观测与治理:掌握监控与告警(Prometheus/Grafana/ELK)、审计与权限体系(IAM/KMS/加密),具备故障定位与稳定性治理能力;
- 性能与成本:有资源利用率提升、训练/推理性能优化、成本管控与FinOps落地经验;
- 良好的跨团队协作与沟通能力,能够与模型/平台/安全/合规等协作方共同推进复杂项目。 加分项
- 有大模型训练/推理Infra经验(NCCL/CUDA、Triton/Ray/自研推理服务、权重与KV缓存优化);
- 参与过RLHF/数据标注平台/数据评测基线建设,具备数据闭环与在线反馈的工程化经验;
- 具备多云/混合云实践、裸金属与高性能网络栈优化(RDMA/NVLink/Topo-aware调度);
- 具备资源调度器或数据平台自研经历,开放源码贡献或论文/技术演讲经历。