岗位描述(节选)
【岗位职责】
1、负责大数据平台及数据处理系统的设计、开发与维护,保障数据链路稳定高效运行;
2、参与数据采集、清洗、存储、计算等环节的方案设计与实现,优化数据处理性能;
3、基于 Hadoop、Spark、Flink 等大数据框架,开发适配业务场景的数据处理任务与服务;
4、与业务团队协作,理解数据需求,设计合理的数据模型与处理流程。
【任职要求】
1、研究生及以上学历,计算机科学与技术、软件工程、数学、统计学、人工智能等相关专业优先;
2、熟悉Java编程语言,了解数据结构与算法基础知识,具备代码编写和问题解决能力;
3、了解大数据相关概念,对 Hadoop、Spark、Flink 等主流大数据框架有基本认知;
4、了解 Kafka 的基本原理、架构及使用场景;
5、了解 SQL 语言及关系型数据库(如 MySQL)、非关系型数据库(如 HBase、MongoDB)的基本原理和操作。