岗位描述(节选)
工作职责:
一、离线计算方向(Spark / 向量化执行引擎)
1、跟踪 Spark / MapReduce / 向量化执行引擎(Gluten / Velox / Photon / DuckDB)的社区前沿,结合 bilibili 业务做选型和落地
2、主导 Spark 引擎在 PB 级日处理、千节点集群下的稳定性、性能优化,包括但不限于:
(1)Catalyst 优化器改造
(2)Shuffle 优化(Remote Shuffle Service / Celeborn / Magnet)
(3)AQE / Dynamic Allocation / Spec Execution 深度调优
3、推动 Spark 与向量化引擎(Gluten + Velox)的深度集成,降低 CPU 成本、提升查询性能
4、解决批处理任务的资源效率、SQL 兼容性、调度延迟等真实工程问题
5、与湖仓团队配合,做……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 10037 个上海岗位(全城各职能合计),其中 1375 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 7.8K ~ 20K(25~75 分位),中位约 12K,最低 0.8K、最高 100K。
在招岗位较多的企业:米哈游 618 个哔哩哔哩股份有限公司 432 个闻泰科技股份有限公司 409 个联影医疗 361 个阿里巴巴集团(含高德/阿里云) 319 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。