AI大模型带动存储变革 业界呼吁重视存力建设
眼下,AI大模型正重塑着千行百业,也包括与之息息相关的算力产业链。
(资料图片)
在AI芯片屹立风口之时,业内对存储芯片、存储设备的关注度也直线上升,HBM(高带宽存储)、近存计算等概念大热。
大模型建立在数据和算力之上,而海量数据需要更强悍的存储性能,从而更好地释放算力,因此在大模型的推动下,存储产业正在新需求下升级变革。
近日,华为数据存储产品线总裁周跃峰就谈到了存力的重要性:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。”
一直以来,计算、存储和网络被视为数据中心三大件,它们是关系紧密的有机体系,分别对应着算力、存力和运力。如今在算力蓬勃发展的同时,存力正越来越受到重视。近年来国内建设了诸多算力中心,现在的新趋势是开始建设大量的存力中心。
打造AI大模型是一个复杂的系统过程,其间面临着不少挑战。在华为看来,企业在开发及实施大模型应用过程中存在四大挑战。
首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右,这不利于系统的高效利用。
其次,如今大模型的规模越来越大,达到千亿甚至万亿的参数级,训练需要海量的计算资源和存储空间。比如多模态大模型以海量文本、图片为训练集,但是当前海量小文件的加载速度不足100MB/s,训练集加载效率低。
其三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天。
最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。比如,它需要非常专业的软件、硬件甚至是维护工程师来进行实施并进行后续的维护。
可以看到,大模型的到来,给数据和存储提出了新的要求。华为分布式存储领域副总裁韩振兴表示:“在AI刚兴起的时候,针对小模型,很多客户会找一些服务器的本地盘来解决。但是随着大模型的兴起,需要一个外置的非常灵活扩展的存储。如果数据量载入过慢,会造成建设的算力都在闲置,所以需要一个不仅是外置的存储,而是一个极高性能的新品类和解决方案。”
为了解决这些瓶颈,头部的企业们已经开始牵头进行产业界合作。近期,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。
其中,前者是面向基础/行业大模型场景,支持96闪存盘,带宽可达400GB/s,IOPS达到1200万;后者面向行业大模型的训练、推理一体化的场景,集成了存储、网络、多样性的计算,降低企业使用AI大模型的门槛。目前,华为的存储产品已在国内的十大模型厂商得到部署,包括科大讯飞、中国科学院等。
据悉,目前全球高端的存储设备厂商主要有三家,分别是华为、戴尔EMC和日立。随着AI大模型日新月异,企业对于高端存储的需求也将更进一步,华为、戴尔、日立等也将在存储的顶级战场上展开新一轮竞争。
周跃峰算了一笔成本账单:在AI的大模型训练过程里,包括数据准备、接入实施等整体成本中,算力的成本占25%左右,即买服务器和GPU;数据准备、清洗与处理这些工作(包括人工)的成本大概占22%。
同时,周跃峰还举了一个例子来说明存储的重要性,由于英文的数字化记录资料远远多于中文,ChatGPT训练英文的效率比中文高很多。他表示,中国如果不重视存力,对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。
数据显示,预计2025年中国数据量将从7.6ZB增至48.6ZB,超过美国成为全球第一。当前,全球各国都在加快制定国家数据战略,其中,存储技术和产业成为共同关注的战略重点。
虽然AI算力中心不断兴起,但是中国工程院院士、中国科学院计算技术研究所研究员倪光南指出,目前普遍对算力的理解有片面性,广义算力不仅包括算力,还包括存力、运力。当前中国算力中心的存力相对不足,存在重算力轻存力的倾向。
韩振兴也表达了类似观点,他谈道,在算力和存力的建设有一个最佳的算存比,并不是靠推算力就能把AI做好。算力建设过多、存力建设过少,这会导致算力闲置,造成资源的浪费。所以一定要去重视存力,达到一个最佳的整体算存比。
当前国内的存储发展还跟不上数据量的增长。根据倪光南提及的一组数据,中国单位GDP的数据存储量只有美国70%左右,而人均数据存储量,美国是中国的9倍。美国为212GB/人,中国约为25GB/人,说明中国数据存储产业大有可为、前景广阔。
在业界呼吁关注存力建设的同时,国内在政策面也有了更多支持计划。为进一步加快推动我国算力高质量发展,日前工信部新闻发言人赵志国表示,将出台指导算力基础设施高质量发展的政策文件,加大高性能智算供给,加强先进存储产品部署,开展算力网络优化行动,加快构建云边端协同、算存运融合的一体化、多层次的算力基础设施体系。
关键词:
相关阅读
-
AI大模型带动存储变革 业界呼吁重视存力建设
数据显示,预计2025年中国数据量将从7 6ZB增至48 6ZB,超过美国成为全 -
末伏第1天!洛阳晴天间多云 最高温度34℃
进入立秋节气,三伏天开始倒计时。今天是末伏第一天,末伏将持续至8月1 -
7月15家新能源车企销量破万:比亚迪销量...
乘联会数据显示,7月,新能源厂商批发销量突破万辆的企业达到15家。其 -
和华为及小米产业链有合作么?奥海科技...
格隆汇8月8日丨有投资者向奥海科技(002993 SZ)提问,“公司和华为及小 -
券商私募资管规模压降至5.66万亿元 环...
券商私募资管规模压降至5 66万亿元环比下降3 36% -
乘联会:7月新能源乘用车批发销量75万辆...
8月3日,乘联会表示,由于受到去年7月高基数的影响,今年7月市场增长压 -
中国高校毕业生为何热衷于出国读博?
中国一流高校的毕业生出国攻读博士学位已经成为一个明显的趋势。而一流 -
富源提升“一支队伍管执法”规范化水平
执法人员到工地开展监督检查。李早权摄曲靖融媒讯 目前,富源县乡(镇 -
中天科技(600522) 涨跌幅:-1.94% (08/09)
中天科技(600522)今收:涨跌幅:-%主力控盘:机构参与度为%,属于中度控 -
摇光录陆鸣阵容搭配推荐
摇光录陆鸣阵容怎么搭配?作为一名治疗角色,陆鸣可以给队友带来回血和 -
博德之门3沃金休眠地锤子获取方法分享
博德之门3沃金休眠地锤子获取方法分享。不少玩家可能还不太清楚游戏中 -
上海氯碱化工股份有限公司副总经理李臣...
氯碱化工(600618)于8月8日发布公告称,上海氯碱化工股份有限公司(以 -
博德之门3解除陷阱工具获取方法汇总
博德之门3解除陷阱工具获取方法汇总。不少玩家可能还不太清楚游戏中的 -
2023年安徽公积金缴存基数调整(2023安徽...
虽说社保以及公积金都属于一种福利性质的保险,但公积金并不是强制用人 -
《使命召唤:现代战争3》马卡洛夫预告片
动视发布了全新的《使命召唤:现代战争3》预告片,重新介绍了弗拉基米 -
2023年福建养老金调整方案及补发时间最...
福建养老金2023年1月1日起补发。2023年补发6个月退休金!虽然多地确定 -
光庭信息(301221)8月9日主力资金净卖...
截至2023年8月9日收盘,光庭信息(301221)报收于58 42元,下跌5 18%,换 -
好消息!2023年新农合缴费标准公布,每...
据最新消息,2023年新农合(新型农村合作医疗保险)缴费标准已经正式公 -
湖南退休工资怎么计算的 2023年湖南养...
很多人都知道退休后是可以按照单位缴纳的社会保险资金领取一定的退休金 -
凡人微光|点亮多彩暑假
策划:郭依格、王曚、廖清、张鹏、沙琳、刘子畅统筹:焦旭锋、张书旗、