Token Foundry-大模型训练Infra工程师-训练稳定性方向

1. 建设超大规模训练的稳定性治理体系，围绕有效训练时长（ETTR）与 Goodput 做端到端度量与优化，量化并持续压缩因故障、回滚、启动带来的无效算力（Badput）。 2. 构建覆盖软硬件异常的故障可观测能力，完善日志、指标、事件的采集与关联分析；研发智能诊断能力，实现训练 slow / hang / OOM / 通信异常等故障的快速定界与根因追溯，沉淀故障模式库与自动诊断规则。 3. 研发自动容错与快速恢复机制，支持断点续训、Pod 级快速重启、节点自动自愈、动态降级与局部重试；优化 failover、本地盘 / 缓存与 Checkpoint 恢复链路，缩短故障恢复时延。 4. 建设节点健康度评估与主动巡检体系，覆盖 GPU、网络、存储等软硬件健康，实现故障节点的快速隔离与自愈；支持 Ray 等分布式框架下的作业级故障感知与处理。 5. 与算法及框架团队协同保障训练全生命周期稳定交…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。