岗位职责
- 基础大数据平台运维与开发：
- 1 负责Linux环境下的系统运维，确保大数据平台稳定运行。
- 2 精通大数据基础组件（如Hadoop、Spark、Kafka、flink等）的部署、配置与优化。
- 3 集群部署与管理（cdh、bdp），包括性能调优、故障排查与恢复。
- 4 平台级运维与开发，包括数据收集、处理、存储与分析流程的设计与实施。
- 5 大数据离线与实时开发，利用SQL、Hive、Spark Streaming、Flink等技术处理大规模数据集。
- 算法应用部署迭代：
- 1 使用Python进行脚本编写、算法应用开发、Django或Flask框架，包括但不限于数据处理、模型训练与评估。
- 2 优化现有算法，提升算法效率与准确性，确保算法在生产环境中的稳定运行。
- 3 参与算法应用的部署与迭代，包括版本控制、测试、发布与监控。
- 4 与数据科学家紧密合作，将研究成果转化为实际可用的算法产品。
- 大模型应用探索（加分项）：
- 1 探索并应用最新的大模型技术（如Transformer、BERT等）于公司业务场景中。
- 2 研究大模型在特定领域的应用，如自然语言处理、图像识别等，推动技术创新。
- 3 评估大模型的性能与成本效益，提出优化建议。
职位要求
- 深厚的Linux系统运维经验，熟悉Shell脚本编写。
- 精通Python编程，具备扎实的编程基础与算法设计能力。
- 深入理解大数据处理流程，熟悉Hadoop、Spark、Kafka、Flink等大数据框架。
- 具备大数据平台部署、集群管理与运维的实战经验。
- 有Python项目开发经验，包括脚本编写、算法应用开发、Django或Flask框架。 加分技能：
- 对机器学习、深度学习有一定了解，熟悉常见算法与框架（如TensorFlow、PyTorch）。
- 实际参与过算法项目，有成功案例者优先。
- 工业软件开发与部署经验，了解软件开发周期与工具链。
- 强大的项目管理能力，能够作为项目Leader，有效协调团队资源，确保项目按时交付。 个人素质：
- 良好的团队合作精神与沟通能力，能够跨部门协作。
- 积极主动，善于解决问题，对新技术保持高度好奇心与学习热情。
- 强大的责任心与抗压能力，能在快节奏环境中保持高效工作。
