岗位描述(节选)
1、参与和负责开源vllm/sglang推理引擎核心功能开发
2、负责大语言模型线上推理框架的性能优化,解决高并发、低延迟、高可靠性等核心问题,提升服务吞吐量与稳定性
3、调研并引入前沿技术,包括模型量化、蒸馏等轻量化开发
1、计算机/电子/数学等相关专业硕士及以上学历
2、编程能力 :精通C/C++,熟悉Python,具备扎实的数据结构与算法基础,ACM/ICPC、NOI等竞赛获奖者优先
3、GPU与CUDA :熟悉NVIDIA GPU架构及编程模型,掌握CUDA核函数优化、显存管理、多流并发等技术,有实际性能调优经验
4、框架与工具 :熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架优先