大模型推理优化工程师

工作职责: 1.负责大语言模型及多模态模型的推理性能优化，包括但不限于首字延迟（TTFT）、吞吐量（Throughput）和显存占用的优化，确保模型在线上生产环境的高效稳定运行。 2.深入研究和落地主流推理加速框架（如 vLLM, TensorRT-LLM, TGI, SGLang, LightLLM 等），针对特定业务场景进行定制化开发与适配。 3.负责高性能算子开发与优化，熟练使用 CUDA、Triton、FlashAttention 等技术，针对 Transformer 结构进行底层计算加速。 4.探索并实现先进的推理优化算法，如 KV Cache 优化（PagedAttention, RadixAttention）、量化（INT8/INT4/FP8）、模型剪枝、投机采样（Speculative Decoding）、连续批处理（Continuous Batching）等 5.参…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 9394 个上海岗位（全城各职能合计），其中 1138 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7.5K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 100K。