岗位描述(节选)
1、参与公司级大数据平台的整体架构设计,明确数据接入、批流计算、湖仓存储、研发治理、权限和运维边界;
2、建设多环境基础设施与平台工程体系,包括组织与账号、统一身份与访问控制、虚拟网络、跨环境网络互联、专线、密钥管理、审计、日志和成本基线;
3、建设以对象存储、开放表格式、开放 Catalog 和批计算引擎为核心的湖仓,解决分区、并发写、小文件、Compaction、Schema 演进和数据恢复问题;
4、建设 Kafka + Flink 实时数据平台,支持 CDC、事件时间、状态管理、回放、Savepoint 升级、故障恢复和端到端数据一致性;
5、建设统一的数据研发与调度体系,推动 Git、代码评审、自动测试、CI/CD、环境隔离、补数和发布回退标准化;
6、根据真实负载评估数据仓库、OLAP、训练平台、高性能文件存储和缓存等能力,避免不必要的产品叠加和技术锁定;
7、与模型训练团队共……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。