岗位描述（节选）
1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理；
2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障；
【任职要求】
任职资格
1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查；
2、掌握 Java/C++/Python 至少一门编程语言，代码能力优秀；
3、对 AGI 数据处理领域有兴趣，学习能力强，具备良好沟通协作能力。
加分项
1、参与过 AGI / 大模型训练数据链路相关项目；
2、了解 Spark 等组件源码或有开源社区贡献经验。