日前，浪潮信息出席了2023年开源技术峰会，并在大会上发表了主题为“基于Kubernetes+RoCEv2构建大规模AI基础设施与大模型训练实践”的报告。期间，浪潮信息分享了企业在大模型开发过程的实例，并重点介绍了浪潮信息在大规模RoCE网络的使用场景中如何运用AIStation人工智能算力调度平台满足企业大模型训练的稳定性和效率要求，实现高效长时间持续训练。

大模型训练遇RoCE网络性能低、断点难题
大模型是当前通用人工智能产业发展创新的核心技术。但大模型训练过程非常复杂，面临诸多挑战。
一方面，大模型训练对通信的要求非常高。为了获得最优的训练效果，单台GPU服务器会搭载多张InfiniBand、ROCE等高性能网卡，为节点间通信提供高吞吐、低时延的服务。但不同的网络方案各有优劣，InfiniBand因性能优异已被公认为大模型训练的首选，但其成本较高；RoCE虽然成本较低，但在大规模的网络环境下，其性能和稳定性不如InfiniBand方案。因此要想满足大模型训练对通信的要求，就要对集群网络中的通信设备适配使用和网络情况进行探索和设计。