岗位描述(节选)
1. 负责 LLM 网关及推理服务监控告警、日志链路追踪建设,覆盖 TTFT/TPOT/流式成功率、上游错误码、Token 用量等核心指标,优化 LLM 场景告警策略;
2. 负责 LLM 网关与推理服务版本发布、CI/CD 运维,制定模型路由、回退策略、限流与超时等配置变更的灰度与回滚规范,保障发布平稳;
3. 负责网关依赖组件(缓存、元数据存储等)与推理集群稳定性运维,排查流式中断、限流打满、上游超时/过载、OOM、排队超时等问题,参与 GPU/NPU 容量治理与高可用保障;
4. 制定并落地 LLM 服务 SLO/SLI 体系,参与 P0/P1 故障响应复盘,沉淀 Runbook 与运维规范;负责限流/降级/路由切换相关配置变更、应急处置与效果验证。
【任职要求】
1. 本科及以上学历,3年以上SRE工作经验;
2. 有丰富的生产环境故障排查和性能调优经验,能够快速定位和解决问题;……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。