最近两年存储招标项目出现了1个大趋势↓新建的千万级存储大项目嘿嘿，越来越多这类项目随便搜搜就是一大把……因为对很多头部客户来说政府、广电、医卫、

 

最近两年存储招标项目出现了1个大趋势↓新建的千万级存储大项目嘿嘿，越来越多这类项目随便搜搜就是一大把

……因为对很多头部客户来说政府、广电、医卫、证券、科研单位...超大容量存储都变成了刚需大家都在忙着一件事↓

行业老司机们碰到这类存储大项目心情就变得相当复杂喽大家心里都门儿清以前客户存储要扩容，很简单

加点磁盘扩展柜就行性能不够就把机头也升级下项目搞起来都轻车熟路很多都是延续性采购，单一来源

可现在存储容量规模完全爆炸了部署难度呈指数级上升以前的搞法有点Hold不在必须得找新的解决方案

那么，什么规模才能称为海量存储？↓

拿最近一个真实项目举例450万预算，干了5个PB所以，PB是海量存储的起步门槛那么PB，又是什么级别呢？你可以慢慢数一下，1024是进阶单位

再形象一点如果1块硬盘存储容量按10T算那么，1PB相当大概103块10T的硬盘（10T*103块硬盘=1030T≈1PB）这还不算副本的额外开销

现在稍有点规模的海量存储项目动辄就是几十PB，夸张点的到几个EB这类项目，对于厂商来说不仅是一种“大考”，同时也是“大坑”没点填坑实力，就只能喊救命了

对于这种级别的存储来说不仅考量超大的容量和扩展性还要确保高性能、高可靠、高智能↓

那么谁才是国内海量存储部署的“蓝波万厂商”？↓

论单体规模曙光拥有国内最大的【EB级云存储实验室】支撑大型行业应用系统论实战规模从2009年单套存储系统容量16PB到2022年单套存储系统300PB曙光不断突破业内存储容量极限…支撑这些大Case的产品

就是曙光海量存储系统的旗舰ParaStor↓

前面我们说过海量存储系统“水深坑多”那么曙光ParaStor如何涉水避坑、海纳百川呢？↓挑战1：底层数据管理技术底层数据管理，说白了就是对海量磁盘的管理能力这种管理通常靠“磁盘文件系统”来完成

目前业界分布式存储系统大多采用OS自带的本地文件系统或者开源文件系统（EXT4/ZFS等等）进行底层磁盘管理以降低代码开发量，缩短研发周期

这种间接的磁盘管理方式无法更直接、高效地发挥磁盘性能读写数据时要调用ext4、zfs接口好比每次调用磁盘，还得先开一道门

海量存储系统，磁盘成千上万块如果单磁盘的性能无法充分发挥最终影响存储系统的整体性能和可靠性

而曙光希望直接操控磁盘自研了一套高效的本地磁盘管理系统叫作Object System↓

Object System可以“精细化”操控磁盘能精细化地控制磁盘布局能精细化地控制磁盘读写由此，数据负载更均衡，数据读写更快

还能精细化地一点点“抠出”更多的存储空间↓这就涉及到了磁盘的存储利用率也就是大家常说的「得盘率」

挑战2：不同场景下性能优化海量存储应用也分场景比如，AI场景的图像识别就是典型的海量小文件的存储场景每个小文件都是KB级的

在峰值阶段，每秒会生成大量小文件都需要写入存储系统中会产生高频随机I/O读写这就是“小文件、大麻烦”的困境在现实中，从成本考虑客户的存储介质依然以机械磁盘为主往往无法应对海量小文件的性能挑战

曙光ParaStor采用“混搭”方案实现【机械磁盘+闪存】深度融合高频热点IO需求，交给闪存完成同时通过小文件合并、元数据缓存动态智能预读等多种神操作完美解决“小文件、大存储”的难题同时又不会有明显成本增加

在某些新兴应用场景下需要高性能的对象存储ParaStor的对象接口对IO协议栈进行极简优化性能可达到业内领先水平

还有一些是大带宽场景比如，非编、渲染、科研计算等会产生大文件有时单个文件达到TB级这些场景下访问存储系统时就需要大带宽

曙光ParaStor也有绝招通过高性能网络RDMA协议、专属高性能POSIX客户端等技术能让单一客户端读写带宽均超过25GB/s这指标，代表了业界最高水准

总之，曙光ParaStor完美匹配对带宽、IOPS、时延的个性化需求场景挑战3：一致性和高可靠性1、一致性海量存储系统必然伴随着大量客户端的并发访问需求必须保证数据访问的一致性对此，曙光打造了一套分布式锁

DLM（Distributed Lock Management）

分布式锁是ParaStor的内嵌服务模块是对于共享资源的高效协调器实现所有客户端对于同一文件的有序访问保证海量数据的强一致性2、高可靠性一个百PB级海量存储系统运转着上万块磁盘硬盘的状态监控和预警处理至关重要

如果没有智能的处理方式那么就是一种毁灭性灾难

曙光ParaStor除了通过成熟技术比如，多副本、纠删码等来防范单故障外

还自研了一种算法内部资源动态调度管理算法专门针对大集群场景实现故障智能化预处理故障无感知自愈...

挑战4：异构数据统一纳管曙光ParaStor的1个存储节点真正实现了海量异构数据资源的融合

同时，曙光ParaStor还能提供大数据存算分离解决方案基于原生HDFS接口，无任何协议损耗实现存储与计算资源按需配置的同时满足新老存储同时读写应用“0”改造，数据“0”迁移

挑战5：海量节点智能化管理集群通常有数百甚至数千节点各节点间的信息实时同步开销会成为存储系统的不可承受之重

曙光ParaStor在集群通信管理模块中以分组为单位进行管理信令交互实现管理流量的去中心化错峰交互集群信息秒级同步

存储厂商那么多为啥曙光能成为海量存储的领域的“扛把子”？除了ParaStor存储本身技术过硬外还有这么几点，也很值得琢磨1、自研技术，高可控性2009年，曙光就已经组建存储研发team拥有国内一流的分布式存储研发团队

建队初始，曙光初心就是把核心技术牢牢掌握在自己手上↓

通过10多年的自研历程曙光已经累积200余项核心技术发明专利连续8年领跑国内分布式存储市场（数据来源：IDC）

2、超大规模存储项目部署经验超大规模，不仅仅是节点数增加也不仅仅是磁盘容量的飙升还会带来一系列的系统性问题（业务适配、系统兼容、容量预估甚至物理环境问题）

没点实战经验，光堆产品真不行曙光是全国海量存储部署规模最大的厂商对各类高端客户的业务属性了如执掌可以见招拆招，确保项目顺利落地↓

3、超强的定制能力超大项目，定制化少不了而曙光参加过大量高端计算项目这些项目往往都具备特殊性因此，面对定制需求，曙光是这样的

同时，因为底层自主研发曙光能实现源代码级调优帮助客户业务系统深度优化

so，老司机们，还等什么如果你遇到难搞的海量存储项目找曙光准没错啦

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186