高文
有人提出疑问,为什么我们没有抓住最近这一波人工智能的热潮? 目前国内对算力不重视,很多从事算法研究的人认为弄十几块卡、百十块卡就够了。事实上,做GPT这种大模型没有1万块卡根本不行——当然,光有卡和算力也不行,还要有好的数据。
算力为什么重要?一些研究数据已经表明,算力和经济增长的模式正相关。算力每增加一个点,经济可能也会增加近一个点,可见算力之重要。一个国家或者区域想要快速发展,算力达不到便无法实现。
在整个经济活动以及高质量发展中,算力是非常关键的领域。智能算力不是传统的超算概念,智能算力是一种以16位精度为主的算力。这种 算力不仅改变了目前人工智能的格局,也正在改变科学研究的格局,包括蛋白质折叠的预测等。
目前我国的算力总和低于美国,但算力增长速度位居世界第一。现在大家算一个题要跑到外地某个地方,比如鹏城实验室拥有鹏城云脑II,可能研究人员就要带着数据跑到深圳的机器上计算;比如阿里有一台非常强的训练机器,那可能他就要带着数据跑到杭州。
那么能否像电力网一样,将算力通过网络连接起来送到需要的地方呢?这就是鹏程实验室现在关注的问题。如今我国正在推进“东数西算”,能不能和西电东送一样,将西部的算力或者全国的算力组织起来,送到东部或需要的地方呢?
2022年是“东数西算”启动的关键一年,也是算力消费的元年。要想将这件事做起来,应当如何操作?要通过算力网来做,就像电力网一样。我们先设计一个算力网,把所有的算力通过网络连接起来。而要实现成功连接首先需要解决的问题,是算力能否如电力一样进行封装和传输直到供用户使用。
电力比较简单,它属于能源,与数据并不关联。无论“绿电”还是火力电,在电网上就可以传到很远的地方。中国在特高压领域已经处于世界领先,将来是否能做出一个世界领先的算力网?像建设电网一样建设国家算力网,像运营互联网一样来运营算力网,用户如同用电一样方便地使用算力,这就是中国算力网的总体目标。
为了实现这一目标,在国家发改委的部署与支持下,鹏城实验室开始探索中国算力网0.1。2019年我们又启动中国智算网预研项目建设,去年6月完成验收,现在正在做第二期。从去年8月开始也进入中国算力网1.0的建设,我们将组织全国做算力、网络的研究人员共同推进。当然,其中面临很多的技术挑战。首先,算力被分成三大类:云算力即云计算,比如很多服务器都是X86架构,这一类都被称为云算力;还 有一类算力是超算算力,比如国家建设的很多超算中心;最新的则被称为智能算力,就是16位字长的超级计算。
这三种算力各不相同,对数据使用、响应以及网络交换的要求都不一样。异构的东西要通过一些合理的封装方式、通过标准化将它们封装起来。算力究竟是“数跟算走”还是“算跟数走”,其中还有一系列需要解决的技术问题,这就是顶层的算力管理调度、封装管理调度的问题。
更重要的一个问题是,底层如何使用超高速、超高宽带的网络连接?让算力和用户之间能够实现快速连接,在网上几乎不受阻碍,这是网络连接面临的另一挑战。
上述两个问题是我们面临的两大挑战,做技术的人必须将其解决。我们有一个很好的平台,鹏城云脑II是2020年完成的一台拥有1000P的智能算力。现在我们正在规划云脑Ⅲ,其算力是云脑II的16倍,约由3万多颗芯片构造,是建设算力网很好的基础设施和支撑。
我们可以利用这些算力去做很多事情,包括大模型的训练、应用。现在我们不仅用云脑II训练大模型,也为百度、华为训练,还给其他一些中小企业、高校等提供算力去做各种模型的训练。云脑II使用的芯片都是国产的,包括华为CPU和华为NPU,软硬件都可以进行分布式训练。
“中国算力网”(China Computing NET, CNET) 在2018年启动时被称为C²NET, 现在已基本验收完毕。其中一些标准化工作都在按部就班地进行,成立了相关标准化组织;采用多芯光纤技术,即一根光纤中有四个芯或者七个芯,可支持超低延时、超大带宽的传输,这相当于“西电东送”特高压,采用类似特高压的节点性支点。中国算力网1.0的项目预计于2025年12月结题,我们希望届时能实现一些目标。比如到2025年接入30个以上规模化算力节点,实现算力网节点间算力资源的高效共享,关键节点之间通信速度达到10Tb/s。
总结而言,算力今后一定要形成网,能够将其提供给用户直接使用。算力要上网需要解决两个挑战性的问题:第一,这些资源如何去封装、怎样调度?第二,如何让节点之间实现高速、低延时、超带宽的连接。(根据第十六届中国电子信息年会报告整理)
“ 中 国 算 力 网(China Computing NET,C²NET)”是鹏城实验室在国家有关部委指导下推进的算力网络计划。该计划提出了“像建设电网一样建设国家算力网,像运营互联网一样运营算力网,让用户像用电一样使用算力服务”的发展愿景。
高文
中国工程院院士、鹏城实验室主任,北京大学博雅讲席教授,新一代人工智能产业技术创新战略联盟理事长,全国专业标准化技术委员会副主任,数字音视频编解码技术标准 (AVS) 工作组组长,国际电气和电子工程师协会会士(IEEE Fellow)、美国计算机协会会士(ACM Fellow)。
![]() |
版权:《高科技与产业化》编辑部版权所有 京ICP备12041800号 地址:北京市海淀区中关村北四环西路33号 邮编:100080 联系电话:(010)82626611-6618 传真:(010)82627674 联系邮箱:hitech@mail.las.ac.cn |