岗位描述(节选)
● 负责主流深度学习框架在Token Foundry大模型场景下的工程优化,包括但不局限于MoE模型大规模训练框架、多模态训练框架、RLHF训练框架等,参与包括基模型Pretrain、SFT等多个阶段的训练任务优化;
● 致力于提升不同阶段模型训练负载的极限吞吐,能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段,优化手段包括但不局限于算子优化、通信优化、分布式策略优化等;
● 负责超大规模训练任务的稳定性的设计,通过各种手段来提升训练任务的有效吞吐,构建更可靠的故障检测系统和自愈系统,提供超大规模训练任务的丝滑体验。
【任职要求】
● 熟悉计算机体系结构基础知识,有扎实异构计算优化(GPGPU/x86/ARM等)、高性能网络架构通信优化、分布式训练策略优化等方面的经验;
● 扎实的工程能力,优良的编程风格,熟悉Python/C++语言和常用设计模式,具备复杂系统的设计开发……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。