岗位描述(节选)
【岗位职责】
模型推理方向:
1、推理性能攻坚:负责大模型推理系统的架构设计与性能优化,主攻高吞吐、低延迟、高并发,让每一张GPU榨出最大价值;
2、引擎深度适配:推进 vLLM/SGLang/TensorRT-LLM 等推理引擎在帆一智算平台的深度适配,支持多种模型结构与异构硬件(NVIDIA/国产芯片);
3、部署流程产品化:优化模型一键部署流程,支撑7日内新模型快速上架,推动大模型在MaaS生产环境的低延迟、高并发落地;
4、成本优化创新:参与 Prefix Caching、Continuous Batching、投机采样等前沿优化,直接降低平台单Token推理成本。
【任职要求】
1、计算机、人工智能、软件工程及相关专业,本科或硕士应届毕业生。
2、熟悉Go/Java/Python/C++中至少一门语言,具备扎实的编程和AI Coding能力,熟悉高性能计算相关技术;
3、熟悉主……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。