岗位描述(节选)
1.负责腾讯云TIONE 推理平台核心架构研发,打造高吞吐、低延时的模型推理服务,涉及模型部署,框架集成,推理调用等全生命周期优化;
2.负责MaaS产品AI 智能调度系统与API网关设计开发,包括请求路由,智能调度,模型框架优化及其他相关模块开发,保障系统高可用、高稳定、高性能,并最大化算力利用效率;
3.协同算法、产品、算力、安全团队,完成模型适配、性能优化、工程化封装、合规加固,推动混元及第三方模型快速上线与稳定服务;
4.跟踪业界大模型工程化、云原生、分布式系统技术趋势,持续优化架构,提升研发效率与产品竞争力。