大模型推理性能优化算法工程师

团队介绍：我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。 1. 主导大模型推理优化体系规划，设计自注意力机制、并行推理与负载均衡等无损优化方案； 2. 实施知识蒸馏、量化、剪枝、KV压缩等轻量化技术，推动有损加速方案落地部署； 3. 从软硬件协同视角优化计算通信重叠与异构硬件适配，提升端到端推理性能； 4. 建立量化评估机制，通过基准测试验证优化收益与方案通用性； 5. 系统性评估硬件资源利用与容量调度，保障高并发场景下推理服务稳定。 …… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。