怎么做个知识库(华为知识库是怎么做的)居然可以这样
9月21日,在华为全联接大会2023上,华为董事、ICT产品与解决方案总裁杨超斌重磅发布领先的高性能AI知识库存储——OceanStor A80
9月21日,在华为全联接大会2023上,华为董事、ICT产品与解决方案总裁杨超斌重磅发布领先的高性能AI知识库存储——OceanStor A800,以高性能数据基础设施,加速行业大模型训练/推理,领跑AI时代。
华为董事、ICT产品与解决方案总裁杨超斌发布OceanStor A800高性能AI知识库存储数字化、智能化大潮奔腾而来,新的基础大模型不断涌现,行业大模型快速发展当前,企业在开发和应用大模型的过程中,面临三大挑战:。
● 首先,大模型从单模态走向多模态,训练集以文本、图片等海量小文件为主当前,海量小文件加载速度不足100MB/s,难以跟上GPU运算速度,造成大量算力资源浪费● 其次,为应对网络波动、算力故障和参数调优等问题,模型训练时每隔两小时需保存一次高达TB级的Checkpoint文件。
保存时GPU停止训练,大文件写性能不足,导致GPU空置时间长● 此外,大模型在专业领域的知识更新滞后,且易产生AI“幻觉”,出现答非所问现象,行业实用性亟待提升面对以上挑战,华为推出OceanStor A800高性能AI知识库存储,通过三大关键能力,解决大模型训练/推理过程中的数据处理效率瓶颈,加速大模型应用上线。
超高性能:基于创新数控分离架构,大幅提升小文件处理性能,存储单框IOPS达到2400万,训练数据加载效率是业界4倍超快恢复:采用创新盘控协同技术及NFS+并行客户端,实现500GB/s超高带宽,TB级Checkpoint大文件读写仅需十几秒,断点续训恢复速度是业界3倍,大幅缩短模型训练周期。
超强推理:存储内生高速向量知识库,提升大模型行业知识深度、精度和时效性,消除AI“幻觉”,并通过智能向量检索引擎,实现25万+QPS,毫秒级推理响应,知识库检索效率领先业界30%大模型时代,数据决定AI智能的高度。
在相同算力资源投入下,减少GPU等待时间,提升AI大模型训练/推理效率、优化成本是企业致胜的关键华为数据存储将秉承“以存强算”的理念,提供创新的AI存储产品与解决方案,加速推动AI赋能千行万业
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186