数据架构-数据湖与数据集成后端开发

1. 构建实时/离线数据采集与同步解决方案，支持跨数据库、数据仓库、数据湖的数据交互。优化数据传输性能，解决高并发、大数据量场景下的延迟与容错问题。设计数据一致性保障机制，处理数据冲突、断点续传、幂等性等核心问题，确保端到端数据质量。 2. 持续迭代数据集成解决方案的架构设计，支持容灾、出海等业务场景；优化架构设计，持续降低成本。 3. 研究前沿技术（如CDC、流批一体架构），推动数据同步技术在业务场景中的创新应用。 4. 构建高性能、高可用性数据湖引擎，参与美团数据湖引擎从0到1的落地与业务推广工作，持续提升系统性能和稳定性，降低成本。 5. 驱动数据湖的周边生态建设，包括实时/离线计算引擎，查询引擎，产品开发平台等生态，助力业务基于数据湖的解决方案落地。 6. 探索AI驱动的智能数据映射能力，基于大模型理解源表schema自动生成目标表映射规则，将数据集成配置从人工逐字段编排简…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。