岗位描述(节选)
1、多模态实时表征探索,研究视频与语音的视觉表征、Audio 表征以及底层模型结构,构建支撑双工交互的感知底座,攻克实时性与表达力的平衡。
2、全模态模型结构与训练策略,探索统一的模型架构与训练范式,使模型能够充分融合视觉、语音、文本的理解与生成能力,逼近全模态统一智能。
3、实时交互核心算法,研发面向人机自然对话的打断、判停与时机决策机制,让模型在复杂声学与多说话人场景下做到自然不抢话、不漏话、在恰当时机主动发起交互。
4、下一代交互范式探索,研究交互式思考 模型、流式工具调用等前沿能力,定义下一代多模态实时交互大模型的形态边界。
【任职要求】
1、计算机、人工智能等相关专业硕士/博士学位,具备扎实的视觉、语音和深度学习学习理论功底;
2、深入理解VLM,Audio LLM等至少一项前沿技术;
3、精通 PyTorch,具备大规模分布式训练经验;