岗位描述(节选)
1、负责多模态数据处理链路的推理优化,分析性能瓶颈,软硬件结合优化,实现包括语言识别、计算机视觉等多方向的推理优化,达到极致性能;
2、负责多模态数据处理链路的可观测性工具建设,包括数据处理、模型推理的监控、告警等;
3、负责异构资源(GPU、CPU等硬件)的调度优化,实现潮汐资源、混部资源、多云资源的最优化调度
4、负责集群和业务服务的稳定性治理、资源利用率提升,通过系统化方式提高GPU、CPU等硬件资源的使用效率。
5、参与设计高吞吐、低延迟的数据处理 pipeline。针对大模型数据处理场景(如LLM、多模态),优化数据清洗、预取、缓存及异步加载策略,确保数据大规模产出。
【任职要求】
1、精通Python/Java,熟悉PyTorch、vLLM等推理框架,具有处理多模态数据(图像、文本、音频、视频等)的经验,对主流大语言模型推理加速有实践经验者优先;
2、熟悉常用的flink/s……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。