大模型的基础设施如何建先要搭千卡万卡规模的网络架构
生成式人工智能(AI)作为一项划时代的技术,经历了巨大的变革和发展。百度杰出系统架构师王雁鹏在深圳的文心大模型技术交流会上表示,生成式AI最显著的特点是模型规模巨大,过去几年以每年10倍的速度增长。生成式AI的智能计算基础设施是一个庞大而复杂的系统,需要从网络架构、存储、加速层、框架和容错等多个方面进行设计和优化。通过这些努力,可以为大规模的生成式AI应用提供稳定、高效且易用的计算基础设施。以往的AI应用中,许多训练任务都可以在单卡或单机上完成,但在大模型时代,完成一个任务需要使用上千甚至上万张显卡。王雁鹏认为,在如此巨大的计算能力需求下,智能计算基础设施的设计范式发生了转变。
一、要构建万卡规模的大模型基础设施,有四个关键点需要关注:
1.需要构建智能计算集群,能够支持高速互联并具备各种异构算力,如中央处理器(CPU)和图形处理器(GPU)等。这需要保证高效的卡间通信。
2.仅有强大的硬件能力并不足以取得良好效果。优化软件堆栈非常重要,优化的结果将体现在训练和推理性能上的加速。
3.高性价比是一个重要考虑因素。构建这样的系统需要合理的技术选择,不一定选择最昂贵的解决方案。合理分层存储和计算,并追求更高的性价比。
4.易用性是前所未有的挑战。在万卡规模下,稳定运行、弹性容错以及一站式应用的易用平台都是重要问题。
百度智能云副总裁朱勇透露,自百度的文心一言技术在3月16日开始内测以来,通过算法和模型的持续优化,其在企业服务中高频场景下的推理性能已经提升了50倍。为了实现这一结果,王雁鹏从技术角度解释了过去一个月的工作和新的技术范式转变。王雁鹏指出,生成式AI是一项跨越式的技术,和以前的技术有了巨大的变革。其最显著的特点是模型规模庞大,每年以10倍的速度增长。之前的AI应用中,许多训练任务可以在单卡或单机上完成,但在大模型时代,需要上千张或上万张卡来完成一个任务。
增加模型规模并不能很好地提升模型的效果和性能,还需要相应地增加数据量级。大模型的数据量级是指数级增长的,这类似于摩尔定律。以前摩尔定律需要每年翻一番,现在大模型的"摩尔定律"更快,大约每8到10个月翻一番。与原来的摩尔定律不同的是,大模型不仅需要芯片的能力,还需要整个芯片、框架和系统的全栈优化。在这种巨大的算力需求下,智能计算基础设施的设计发生了变革。
二、构建万卡规模的网络架构
在如此大规模下,保证网络的扩展性和避免拥塞是非常困难的。大模型的通信特点是有很多集合通信的操作,这可以分解成同号卡之间的集合通信。为了解决这个问题,需要优化网络架构,在同号卡之间建立高速通信通道,以提高整体网络的吞吐量并消除拥塞和冲突的可能性。
除了计算方面,存储也是另一个关键问题。需要具备大容量和高速度,因此设计了多级存储系统。大量数据存储在对象存储系统中,高速训练时需要充当缓存系统的角色。
三、加速层
对于AI训练来说,计算过程非常复杂,包括IO预处理、IO读取、各种算子的高性能实现和优化,以及通信的优化和显存利用率。需要在训练加速套件中整合整个软件栈。对于推理加速套件来说更加重要。推理过程对大模型来说是一个巨大的挑战。通过集中攻关和软件优化,百度在文心一言发布后的一个月时间内,使推理性能提高了50倍。
四、框架侧的工作,即所谓的4D混合并行
对于如此巨大的计算,如何将其拆分到各个GPU上,并采用不同的并行策略,以获得更好的计算性能。如何将并行策略映射到计算集群的硬件上也是关键。在这方面,投入了大量的工作,实现了自动并行,无论硬件拓扑和硬件组合如何,都能在分布式层面自动实现并行。
容错性也是关键问题。在万卡规模下,错误是不可避免的。集合通信的通信模式天生具有较低的容错性。因此,在通信库层、框架层和调度层做了大量的工作,实现了不同层次的容错,使得拥有千亿参数的大模型训练可以无中断地进行。
我国的青藏高原发现十分丰富的矿藏 足够让全世界惊叹
我国的国土当中有着非常丰富的资源。一个国家是否可以富有出了一个国家的人民是不是努力之外还有着另外一个因素,就是面积当中会不会有这丰富的资源,比如说沙特阿拉伯还有举行世界杯卡塔尔,他们都是靠着石油发财的,虽然他们的国土面积都不是很大,但是满满的都是石油,他们靠着石油确实是可以发财,而我国有的这么大的国土面积,自然自然也是很多的,比如说在十几年前的时候,我国就在青藏高原发现了十分丰富的矿产资源。我要新鲜事2023-05-15 20:44:370000蜜饯吃多了有哪些危害?蜜饯会影响到人的身体健康吗
导语:现在很多人都喜欢吃零食,其中蜜饯这种是比较受欢迎的。但是蜜饯这种东西有着很多糖分,吃了对身体不好,那么蜜饯吃了到底有什么坏处呢,一起了解下吧。蜜饯是不健康的食物吗我要新鲜事2023-05-11 04:58:570000天文学家发现了一个行星系统 揭秘神秘的“超级地球”的形成机制
最新的研究成果显示,由列日大学和西班牙国家科学研究委员会的研究人员领导的团队利用NASA的TESS望远镜的观测数据,发现了一个引人注目的行星系统。这个系统名为TOI-2096,由两颗略大于地球的行星组成,它们绕着一颗冷恒星进行同步舞蹈。距离地球约150光年。我要新鲜事2023-06-02 20:11:310000一架飞机在襄阳坠落,飞行员跳伞逃生,为何客机绝对不让乘客跳伞
军用飞机在飞行的过程中,出现意外飞行员会及时跳伞,这样能够避免带来更大的伤害。可是客机却从来不允许乘客跳伞,要知道飞机出事有多种原因,并不是一定会给乘客的生命带来威胁。乘客在没有专业跳伞员的引导下,想通过跳伞来逃生是几乎不可能的,很有可能会因为跳伞而受到伤害。我要新鲜事2023-05-14 15:57:530000现在很多家庭都会有的智能声控灯,是人工智能还是人工智障?
用语言去控制台灯本身就是一件弱智的事情相信大家对于声控的这个东西早就非常熟悉了,尤其是在一些公共场所的卫生间里面,为了能够节约电,都是使用的声控灯,一般都是拍一拍手或者咳嗽一声都可以把这个灯给点亮,放在公共区域还是比较好用的,不过很少有人会放在家里。儿子前一段时间就出现了一种工智障一样的声控台灯,这个声控台灯并不是拍一拍手,闹出点动静就可以,而是需要人说话。我要新鲜事2023-05-15 07:06:350000