推理优化

【岗位职责】 - 对视频多模态大模型（LTS、wan2.2、open-sora等）进行量化（INT8/INT4/FP8）、剪枝、蒸馏等压缩优化，在精度损失可控范围内最大化推理速度。 - 使用 TensorRT / TensorRT-LLM 进行模型编译和算子融合，针对视频场景的特殊计算图（时序注意力、3D卷积、长序列KV cache）做定制优化。 - 针对视频场景调优调度策略——视频推理请求具有输入波动大、单请求耗时长、显存占用高的特点，需要针对性设计排队和优先级机制。 - 在多GPU/多节点环境下实现模型并行（tensor parallel / pipeline parallel），平衡负载和通信开销。 - 搭建推理性能监控体系：首token延迟、吞吐量、显存利用率、P99延迟等核心指标实时可观测。 - 建立GPU资源利用率基线，持续优化单位推理成本（/Mtokens或/Mtokens或…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 9036 个杭州岗位（全城各职能合计），其中 523 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 250K。