岗位描述(节选)
我们是蚂蚁集团网络技术团队,为蚂蚁集团全站提供通智一体、稳定高效的网络基础设施产品、平台和服务。推理网关将直接服务蚂蚁阿福、阿宝、灵光等 AI 业务。
● 负责推理网关核心能力设计和开发;
● 通过创新的 GPU 流量调度算法减少推理成本、提升用户体验。
【任职要求】
● 熟练掌握 C、C++、Golang 一种或多种语言,3年以上系统软件开发经验;
● 具备大模型推理网关相关经验,了解主流大模型服务协议,熟悉大模型推理服务的运行机制,掌握 GPU 流量调度技术(如 Prefill/Decode 分离、Prefix Cache 感知、负载感知及 SLO 感知等);
● 熟悉 Envoy、MOSN、AIGW 等云原生网关架构及实现原理,具备 Go/C++ 高性能网络代理开发及大规模生产实践经验;
● 熟悉分布式系统架构,理解数据分片、多副本同步、幂等处理等技术;
● 掌握性能分析和调优手段……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。