岗位描述(节选)
【岗位职责】
1、参与大模型推理引擎核心模块的设计、开发与测试,提升系统吞吐、降低推理延迟与成本;
2、探索并验证先进推理加速方案,如量化、KV Cache、PagedAttention、连续批处理、投机解码、分布式推理、算子优化等;
3、参与推理平台与云平台建设:基于 Kubernetes/K8s、Docker、Helm 等,实现模型部署、弹性扩缩容、灰度发布、多租户资源隔离、监控告警与 CI/CD;
4、参与 GPU/NPU 资源调度与集群利用率优化,提升推理服务稳定性与云平台资源管理效率;
5、跟踪开源社区(如 vLLM、TensorRT-LLM、SGLang、LMDeploy 等)前沿动态,完成技术调研、复现与验证;
6、与算法、业务和平台团队协作,优化端到端推理体验。
【任职要求】
1、本科及以上在读,计算机、AI、软件工程、电子信息、数学等相关专业;
2、熟悉 Python,……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。