天猫淘宝海外-高级LLM推理优化工程师-杭州

团队介绍 天猫淘宝海外搜推导购技术团队承担了平台多端的搜索及推荐两大导购体系的技术平台和相关业务研发。团队目前承担了数十亿用户搜索和推荐请求，解决国际跨境及本地市场搜索、推荐以及模型计算方面的挑战。我们正在将大模型能力深度融入搜索推荐链路，探索生成式检索、LLM意图理解、AI导购等新一代搜推产品形态。随着LLM在线推理成为搜推系统的核心基础设施，如何在保证效果的前提下实现低延迟、高吞吐、低成本的在线推理服务，是团队当前最关键的技术课题之一。国际化是集团的重点方向之一，业务的飞速发展需要有经验有想法有能力的工程师加入我们，一起打造面向全球的智能搜推推理引擎。 职位描述 1.负责搜推场景下LLM/生成式模型的在线推理引擎研发与持续优化，包括推理加速、显存优化、批处理调度等，保障线上服务的延迟和吞吐指标； 2. 参与生成式搜推架构的设计与落地，涵盖生成式检索、LLM Query理解、AI导购等…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。