岗位描述(节选)
岗位职责
1、参与分布式推理系统建设,提供行业领先的LLM/多模态模型解决方案;
2、针对大语言模型(LLM)、视觉生成(如Diffusion Models)等场景,开展端到端推理性能优化,重点降低推理延迟、提升吞吐量;
3、深度优化推理框架,提升框架在异构硬件上的扩展性与易用性;
4、开发自动化性能分析工具,实现推理瓶颈的快速定位与优化建议生成。
任职要求
1、计算机、电子工程、自动化、数学等相关专业优先;
2、精通Python/C++,具备CUDA/BANGC等异构编程经验;
3、对硬件算力与模型效率的平衡有深刻认知,能设计兼顾性能与成本的优化方案;
4、深入理解LLM或者视觉生成模型原理,具备以下至少一个领域的实战经验;
a)大模型推理框架:vLLM/SGLang/FasterTransformer/TensorRT-LLM;
b)视觉生成系统:Diffusers/ComfyUI/x……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。