岗位描述(节选)
岗位定位:
参与大模型推理加速中间件的研发,负责 KV Cache在 三级存储间的智能调度, 实现 MoE模型卸载,跑大模型,突破单卡显存瓶颈,提升推理吞吐量。并进行推理加速,分析解决适配过程中的功能、性能与精度问题。
岗位职责:
1. 负责KV Cache分层存储模块的设计与开发,实现显存、内存、SSD间的动态换入换出与淘汰策略
2. 负责MoE模型专家的调度管理,实现非活跃专家的按需加载与卸载
3. 负责主流推理引擎(llama.cpp/vLLM/SGLang等)的中间件对接与集成适配
4. 负责存储I/O性能优化(io_uring/零拷贝等),提升KV Cache读写效率
5. 负责多硬件多操作系统适配和兼容性,包括iGPU,dGPU,Linux和windows操作系统
6. 持续对标行业方案,完成性能测试与迭代调优
【任职要求】
任职要求:
1. 本科及以上学历……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 10759 个上海岗位(全城各职能合计),其中 1397 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 8K ~ 20K(25~75 分位),中位约 12K,最低 0.8K、最高 100K。
在招岗位较多的企业:米哈游 618 个哔哩哔哩股份有限公司 432 个闻泰科技股份有限公司 409 个联影医疗 361 个阿里巴巴集团(含高德/阿里云) 319 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。