岗位描述(节选)
1.根据客户需求和业务需求,设计智算系统的整体架构,包括算力资源调度、数据存储与传输、网络拓扑等,确保系统具备高并发、低延迟、高可用性和可扩展性。制定技术路线和选型方案,选择适合的硬件(如GPU、FPGA等)、组网(RoCE、IB)软件框架(如K8S、CUDA、MindSpore、PyTorch等)和协议标准。
2.设计并实现异构算力纳管架构,支持多类型算力资源(如英伟达、国产芯片等)的统一管理和调度,实现算力的细粒度切分和弹性分配。优化算力资源利用率,通过动态调度、负载均衡等技术,提高算力资源的复用率和效率。
3.集成和调优主流推理框架(如vLLM、TensorRT-LLM等),优化模型推理性能,降低单位推理成本,设计多级缓存架构(如精确匹配缓存、语义缓存等),提升数据访问速度和系统响应能力。
【任职资格】
1.教育:硕士研究生及以上学历,计算机科学、人工智能、软件工程、电子信息、……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。