岗位描述(节选)
【岗位职责】
1. 负责大模型推理框架核心组件的方案设计和特性开发
2. 研究投机解码、缓存管理、量化压缩等算法,解决长上下文和高并发难题
3. 探索MoE、PD分离等推理优化技术,与底层硬件深度协同,持续提升性能
4. 参与推理框架的工程化落地,保障线上服务的高可用与高性能
【任职要求】
· 本科及以上学历,计算机、人工智能、数学、信息、电子等相关专业,1年以上相关经验
· 精通Python或C++,具备扎实的工程能力与系统级性能优化功底
· 理解Transformer架构和推理全链路(注意力计算、缓存机制、采样策略等)
· 熟悉至少一种主流推理框架(vLLM/TensorRT-LLM/SGLang等)及其底层实现
加分项(非必需)
· 有GPU/NPU等异构计算设备性能调优实战经验,熟悉CUDA/Triton/NCCL等
· 在Speculative Decoding、MoE推理、……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。