【链世纪对话系列No.8】中科曙光存储专家张记华:IPFS分布式存储布局规划

布式存储在数字时代越发重要,关于分布式存储的技术、产品、应用场景,成为分布式存储产业链参与者争相学习与参与的对象。链世纪财经针对分布式存储领域的发展,特推出《链世纪对话分布式存储》专题栏目,与广大从业者共同见证分布式存储的快速发展。12月17日,由链世纪财经主办,聚英国际、中科曙光联合主办,BTRAC全球数字网络高等智库、大陆节点协办的链世纪财经对话分布式存储No.8-中科曙光在IPFS分布式存储领域的布局与规划AMA如期举办,让我们一起看看有哪些干货吧!

本期大咖——张记华

曙光分布式存储产品总监,全面负责曙光分布式存储产品线的产品规划、业务管理、发展策略制定等工作,已在曙光工作10年的时间,在存储行业有丰富的工作经验,善于把握产品技术的发展趋势和发掘市场的新机遇。

 

特邀主持人——焦仕可

链世纪财经CEO、BTRAC全球数字网络高等智库合伙人、亚洲区块链学会西北分会长、链世纪对话系列的主持人。撰写了《2020分布式存储产业链研究报告》和《分布式存储未来存储刚需》专题报告。研究领域:分布式存储、区块链、IPFS。

 

精彩内容回顾

主持人焦仕可:中科曙光为什么要布局分布式存储领域?

中科曙光张记华:有一些人对中科曙光公司不太熟悉,在这里我简单介绍一下,中科曙光公司在中国科学院的大力推动下组建,于2014年在上海证券交易所上市(股票代码:603019)。经历20余年发展,中科曙光在高端计算、存储、安全、数据中心等领域拥有深厚的技术积淀和领先的市场份额,并充分发挥高端计算优势,布局云计算、大数据、人工智能等领域的技术研发,打造先进计算产业生态,为科研探索创新、行业信息化建设、产业转型升级、数字经济发展提供了坚实可信的支撑。

中科曙光是做先进计算起家的公司,先进计算离不开分布式存储, 对于先进计算和分布式存储有十数年的研发积累,曙光很早就嗅到市场对于分布式存储的迫切需求,所以从2005年起,曙光公司组建分布式存储开发团队,2008年推出了ParaStor云存储系统。ParaStor云存储系统是曙光从硬件到软件完全自主研发,由多个独立存储服务器组成的一个海量存储资源池,而这种原生的分布式架构优势,使其具有良好的性价比和扩展性。天生对于块、对象以及文件协议的广泛支持,可以满足海量数据对于异构数据的集中存储和访问需求。截止到2020年,曙光在云存储领域投入超过15年,并且获得市场的认可,根据IDC统计,曙光云存储产品国内销量排名稳居第二。 从2010年起,市场上非结构化数据量增速明显,年复合增长率超过20%,尤其是生物基因、气象环保、轨道交通,以及这两年兴起的IPFS领域,对云存储需求旺盛,且在未来几年分布式存储市场增速也非常明显。

    

(上图是IDC统计非结构化数据的增长率,可以看出增速远超过结构化数据)

 

曙光也是看到这部分的市场,依托良好的技术积累和广泛的客户群体,会持续投入发力分布式存储市场,迭代现有分布式产品,陆续会推出功能和性能,可靠性更强的存储产品和解决方案。

 

主持人焦仕可:分布式存储有哪些应用场景?

中科曙光张记华:首先我们看一下分布式存储的特点:分布式存储系统先进的架构使其具备超强的横向扩展能力,只需要简单地增加数据控制器,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O性能。系统容量和带宽近线性增长,满足成千上万个客户端的数据并发存取需求。分布式存储它可以提供TB/s级的高速带宽和EB级的海量存储空间,能够满足飞机汽车船舶设计、生物基因研究、材料科学研究、天气预报、地震监测、环境监测分析、能源勘探、电子商务、网络游戏、社交与视频分享网站建设、动漫渲染、视频编辑处理等领域中对于存储容量和I/O性能要求极高的应用。

最近比较盛行的IPFS存储系统底层,也是将数据分成多份,保证冗余性,再分割成多个小部分,分散存储在网络众多节点上,这样只要足够多的节点运作正常,数据就是安全的。IPFS 协议对于单个存储站点性能和扩展性提出了线性性能和容量增速要求,这点刚好和分布式存储系统特点吻合,分布式存储构建IPFS站点是非常适合,经过这两年一些市场和客户的使用,分布式存储构建的IPFS站点已经成为中大型客户主流构建方式。

 

主持人焦仕可:针对IPFS分布式存储,中科曙光可以在这个生态中担任怎样的角色?

中科曙光张记华:中科曙光公司在IT产业链提供的产品和服务比较齐全,我本人专注于存储类产品的运营和推广,主要从事先进计算机、通用服务器、存储、安全、数据中心基建等产品和服务。从这两年市场表现来看 ParaStor云存储在IPFS领域受到越来越多客户的青睐,曙光在IPFS领域中可为终端客户提供矿机服务器、云存储等产品和整体方案,同时这个行业大量ISV生态合作伙伴,中科曙光可为ISV提供“矿机服务器+开放API接口的存储系统“,ISV可根据行业特点打包成更具有行业属性的一体化产品和方案。

 

主持人焦仕可:在分布式存储领域,中科曙光可以为用户提供哪些服务和产品?它们的优势是什么?

中科曙光张记华:中科曙光在IPFS领域主推ParaStor云存储系统,这个产品在存储圈是个非常厉害的角色。

近两年,随着区块链技术的高速发展,IPFS应用的落地,曙光根据应用特点和架构特性做了相关的优化,可为终端客户提供性能更优越,可靠性更高的分布式存储产品,在技术方面有如下优势:

■ 更优异的性能表现,全面提升Windows-Winning POST响应时间

这里主要是ParaStor把数据切片成固定大小的对象,条带化地分布到多个存储节点的多个磁盘上,提供并发的传输通道实现并行的I/O访问,有效地提高了存储系统的读写带宽和IOPS。同时系统聚合性能随着节点规模的增加而线性增长,消除传统的Scale-up纵向扩展存储架构的性能局限性。

除此之外,通过多项技术进一步提升性能:

1、内部高速互联:集群内部网络采用高速网络,基于高速传输协议,获得更高的带宽、更低的延迟。

2、内核态POSIX协议:在性能方面,可以采用内核态的私有客户端协议,并发访问能力更强。

3、SSD Cache:存储节点配置一定数量的SSD,作为本地节点的二级读缓存,提升数据随机访问性能。


■ 全冗余架构,稳定可靠,提供从部件到整机全面保护

IPFS这个应用对于可靠性要求非常高,如果存储出现故障,对于客户来说损失非常大,所以曙光的ParaStor云存储产品,采用全冗余架构,稳定可靠,提供从部件到整机全面保护。尤其对于中大规模的分布式系统,稳健性更是重中之重。ParaStor采用冗余架构设计,从部件、网络、节点、数据冗余等各个层面保证数据的安全性及系统的稳健性,同时需要厂商具备中大规模的调优能力。


可靠性是存储系统的基本要求,尤其对于中大规模的分布式系统,稳健性更是重中之重。ParaStor采用冗余架构设计,从部件、网络、节点、数据冗余等各个层面保证数据的安全性及系统的稳健性。

1、部件可靠性

ParaStor基于曙光服务器构建,选用的是曙光当前阶段最为成熟、稳定且市占率很高的硬件产品,主要部件均是冗余配置,单个部件的故障不会影响整个节点的正常运行。同时系统的WebUI管理界面集成了部件的监控功能,部件发生故障,将给出准确的告警信息,便于用户及时定位维护。

2、网络可靠性

存储系统采用冗余网络拓扑,任一链路发生故障,均不影响系统的正常服务。

3、节点可靠性

所有节点并行提供服务,在冗余规则之内发生节点故障,不影响存储服务。

4、数据冗余

ParaStor支持多副本、EC纠删码两种数据冗余方式,可以针对节点池设置不同的冗余策略,保障数据一致性。


■ 曙光ParaStor云存储系统统一管理,简易运维

提供基于Web的图形化监控管理界面,提供系统配置管理、监控告警等功能,直观易懂的图形化界面方便用户实时监控系统的状态,简化了安装和维护过程,提高了管理效率。

同一Web界面可以管理多套ParaStor,便于多集群的统一运维。

 

自由问答环节

Q最近国内的一些大机构都在布局分布式存储领域,中科曙光和他们相比优势在哪?

中科曙光张记华:

1、曙光专业做分布式存储十数年,曙光存储有数百人的研发团队,从底层硬件到软件都是自主研发,产品的性能和可靠性,远优于市场基于开源修改 优化的产品。

2、曙光针对IPFS应用特性,从硬件到底层的存储IO路径上做了大量的优化进一步提高业务的性能。

3、另外就是曙光公司的专业的服务能力和强大的服务覆盖范围,对于云存储产品,曙光提供3年原厂上门服务,我们的服务网点可覆盖国内100%省会城市和大部分二线城市,可根据客户要求提供多种级别的服务,包含:4小时上门,驻场,重保等增值服务。

云存储专业性较强,选择一家强大、有担当的合作伙伴非常重要。