岗位职责
- 设计与开发智能数据平台核心模块 ○ 参与构建新一代AI驱动的数据平台，覆盖数据集成、计算引擎、元数据管理、自动化ETL、智能查询优化等核心功能； ○ 负责数据治理、多模态数据处理（结构化/非结构化）、分布式任务调度等模块的研发；
- AI与数据平台的深度集成 ○ 研发AI增强型数据工程能力（如自动数据标注、智能数据血缘分析、NL2SQL自然语言查询）； ○ 探索大模型（LLM）与数据平台的结合场景（如自动生成数据管道代码、异常检测与根因分析）；
- 性能优化与云原生架构 ○ 优化大规模数据计算性能，降低资源成本； ○ 设计基于Kubernetes的弹性伸缩架构，支持混合云/多云环境部署；
- 技术前瞻性探索 ○ 跟踪Snowflake、BigQuery、Databricks等平台技术演进，输出技术方案预研报告； ○ 主导开源技术（如Apache Iceberg、Paimon）在平台中的集成与二次开发。
职位要求
- 必备条件 ○ 3年以上数据平台或大数据基础设施研发经验，至少完整参与过一个企业级数据平台项目； ○ 精通以下至少一个领域： ■ 数据计算引擎：Spark/Flink/Ray 等； ■ 云数据仓库架构：存储计算分离、动态资源分配； ■ 数据治理工具：元数据管理、数据质量监控、权限控制； ○ 熟悉AI工程化技术栈（如MLflow/Kubeflow、特征存储、模型服务化）； ○ 熟练使用Python/Java至少一门语言，具备高并发、分布式系统开发经验；
- 优先条件 ○ 主导过成熟数据平台产品的研发项目和核心模块； ○ 有AutoML、强化学习在数据优化中的应用经验（如索引自动推荐、查询计划调优）； ○ 熟悉LLM应用开发框架（LangChain、LlamaIndex等），或参与过AI Agent类项目； ○ 主导过开源项目（如Apache项目贡献者）或在顶会（SIGMOD/VLDB/KDD/ICDE等）发表论文；
- 软性要求 ○ 对数据驱动和AI原生有强烈技术热情，能快速理解业务场景并抽象技术需求； ○ 具备跨团队协作能力，可带领2-3人小组完成关键技术攻坚。
