岗位描述(节选)
训练方向:
负责分布式训练框架的设计与优化,支撑医学大模型(LLM及多模态)的预训练、SFT微调、Post-Training(RLHF/GRPO/PPO等强化学习对齐)全流程训练任务。
构建高效稳定的训练数据Pipeline,包括数据预处理、数据加载与调度、Checkpoint管理(异步快照、分布式Checkpoint、断点续训)等基础设施。
优化大规模分布式训练的性能与稳定性,包括并行策略设计与调优(数据并行/张量并行/流水线并行/序列并行)、MoE架构训练与专家并行(Expert Parallelism)、FP8/BF16混合精度训练、长上下文训练(Ring Attention/Context Parallelism)、通信拓扑优化等。
【任职要求】
1、精通代码编写,包括但不限于C/C++/Python/Rust/Java等,熟悉Linux/Unix开发环境,具备良好的工程实现能力……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。