【技术保障】模型推理优化专家

【岗位职责】 推理性能优化 1. 对LLM在线推理全链路进行性能分析与瓶颈定位，针对性优化 TTFT、TPOT、吞吐等核心指标。 2. 深入调优推理引擎（vLLM/SGLang/TensorRT-LLM等），包括 KV Cache 管理、continuous batching、量化、推测解码等关键技术。 3. 结合业务 SLO 要求，设计推理部署方案（机型选型、并行策略、batch 策略等），在满足延迟约束的前提下最大化 GPU 利用率 平台工程与成本优化 1. 基于Kubernetes设计和落地 GPU 工作负载的调度策略，包括算力调度、虚拟化资源管理、拓扑感知、亲和性、HPA等。 2. 识别低利用率、低性价比算力选型等资源低效问题，推动资源整合与优化，降低单位推理成本。 3. 参与 AI 平台产品设计和研发，从工程角度出发不断优化推理服务管理模式和流程，提升用户体验和效率。 业务协同与…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 6904 个杭州岗位（全城各职能合计），其中 754 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 9K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 250K。