超算TOP500榜单，让我看到了榜单背后的存储力量
在最新的超算TOP500榜单中，中国成为拥有TOP500超算系统最多的国家、美国第二，日本排名第三，排名第四是法国。
随着2019年超算TOP500排行榜的正式揭晓，作为支撑超算数据存储的重要支柱之一，凡是排名靠前的超算TOP500供应商，无不重视其存储系统的健壮性。
毕竟HPC存储系统的发展，在很大意义上对HPC在计算性能上的支撑有着直接的影响和价值，也再次引发了大家浓厚的兴趣。在HPC计算性能的竞争差距不断缩短等情况下，在存储能力上的竞争却一直有着差异化的特点。
HPC存储大趋势有哪些？
从全球来看，来自Intersect360 Researchg公布的2018年全球HPC存储整体市场收入数据显示，2018年全球HPC存储市场增长到了57亿美元左右，相比2017年同期增长了1.0%。并且，全球HPC存储整体市场发展的情况表明，排名前几位的供应商基本上没有太大变化。
全球HPC存储整体市场虽然增长率不高，但是却不断有大事发生。
2018年6月，HPC存储供应商DDN公司收购Intel公司的Lustre文件系统业务和相关资产，之前Intel收购Whamcloud获得Lustre文件系统，这在很大程度上，进一步提升了DDN在HPC存储领域的技术能力和话语权。
2019年5月，HPE宣布以13亿美元收购HPC解决方案供应商Cray，实际以每股35美元的价格现金实现该收购交易。Cray在HPC计算、存储、网络等解决方案上有着深厚的造诣，在全球HPC排名中也居于前列。
此外，在HPE并购Cray的公告中，再次强调了对HPC全球整体市场的看好。分析指出，今后三年，高性能计算市场和相关存储及服务的业务规模，预计将由2018年的280亿美元增加至2021年的350亿美元，复合年增长率达到约9%。
从这两件大事可以断言，全球HPC存储整体市场的品牌集中化趋势显著。
然而，2018年中国HPC存储整体市场却出现了与全球不太一样的发展趋势。
一方面，来自DDN、Panasas等国外HPC存储供应商在中国市场上的投入逐年减少，技术服务的本地化、定制化水平不高，逐渐在淡化这个市场的开拓。
另一方面，来自曙光、华为等国内HPC存储供应商，对中国本土市场尤为重视，坚持自主研发路线，在战略与投入上相对较高。因而，国内HPC供应商基本上占据了中国HPC存储绝大部分“*”。
作为专注中国存储整体市场多年的资深操盘手，曙光公司副总裁惠润海对此分析指出，HPC存储系统中最为重要的当属HPC并行文件系统，业界可以看到过的如Lustre、GPFS、BeeGFS（原名为FhGFS），以及Glustre、Ceph、企业级NAS等，真正在HPC中国市场上被接受和认可的HPC存储供应商，往往在这个领域上的坚持不是两三年，而是超过10年时间。
在中国HPC存储市场上，供应商之间的比拼，实际上拼的是三个重要的能力。
一是，拥有超大规模的HPC部署经验与应用支持的服务能力。比如：100节点、200节点……不算什么，要看就得5000节点，甚至更大规模。
二是，拥有数年在HPC存储领域的长期研发与技术积累的能力。比如：三年五年都不算真正的长期，长期就得看八年十年以上这样子。
三是，拥有资深的本地化HPC存储技术支持团队，实现定制化设计、开发与落地的能力。比如：技术团队在自主研发基础上实现HPC存储深度定制化，满足不同用户对于个性化功能以及场景化极致性能的需求。
正因为近年来中国HPC用户的定制需求增多，也带来HPC存储复杂多样化趋势明显，通用的HPC存储需求虽然也还有，应用场景日趋萎缩。
需要特别注意的是，实现用户的HPC存储定制化，需要供应商具备的自主研发能力和程度都很高。或许，正是曙光在HPC存储领域愿意长期坐冷板凳，才让我感悟到了技术坚持的价值。
中国HPC存储明星，怎能少得了ParaStor
事实上，曙光HPC在历年的超算TOP500排行榜中也取得了很好的成绩。在HPC存储系统的技术创新与发展上，ParaStor分布式存储一直以来担当了重要的角色。
我记得多年前国内首台实测性能超千万亿次的HPC“星云”，当时每秒系统峰值可达到三千万亿次(3PFlops)，每秒实测Linpack值达1.271万亿次，ParaStor200就是支撑“星云”的存储系统。
后来在“天眼”FAST的HPC方案上，对计算和存储性能的要求非常苛刻，同时还呈现爆炸式增长需求，数据量和计算量“大得惊人”。在这个方案中，也看到了ParaStor的重要贡献。
当然，对于ParaStor的成功案例不止于此，也正因为ParaStor在技术迭代与产品创新上，一直保持着良好的发展节奏，从而成为了中国HPC存储市场上不可或缺的明星。据不完全统计，到目前为止，ParaStor正在管理着超过1000PB的存储容量，早已迈入了“EB级存储俱乐部”。
在回顾ParaStor近十年的发展历程来看，每一代ParaStor都有着每一代的特色，也代表着当时HPC存储领域领先的性能和技术水平。
ParaStor第一代，在针对HPC具体计算能力与网络能力构建上，发展起来了HPC分布式存储基本特性，奠定了曙光未来在HPC存储市场的坚实基础。
ParaStor200、300都属于第二代，在针对行业领域应用的深度优化上，做了非常多的升级和优化工作，包括实现了更高效RDMA技术支持、大小文件混合读写性能优化、分级存储支持等，以及针对云与大数据的接口支持。
ParaSto300S属于第三代，在2018年正式亮相国内市场后，表现出了更高的性能、效能、扩展性，以及更全面的企业级特性。同时实现了存储资源管理效率的进一步抬升，可以更好的满足新一代HPC应用的需求。
进一步分析来看，ParaSto300S实现了多个方面的技术突破与创新，助力HPC存储整体能力的提升：
一方面，重塑存储架构，实现业界少有的既支持对称性架构，又支持非对称性架构，满足不同用户对于TCO、性能的差异化诉求。
也就是说，在商业存储系统中，ParaSto300S创新性地实现一款软件、两种架构的集群方式，便于用户根据实际数据规模和I/O特性，灵活选择部署方式，最大程度地提升硬件资源的使用效率，实现HPC存储用户投资回报率更高。
二方面，基于全新设计的磁盘管理模块，直接管理HDD、SSD、NVMe SSD等多种类型介质，有效提升存储资源的使用效率。Block级管理方式可以有效整合上层应用请求，将杂乱的随机IO“聚合”成连续IO，在数据访问及小文件修复方面，性能优化效果惊人。
三方面，再次提升高速网络的资源优化，针对RDMA效率进一步优化，在同等资源下，网络并发度大幅增加，性能提升表现更为突出。
四方面，ParaStor300S对外支持多种存储访问协议，同一集群同时提供高性能POSIX、集群NAS、S3对象接口等，支撑更为广泛的应用场景。
总体来看，ParaSto300S全局单一命名空间可以为用户构建 EB 级容量的虚拟存储池，所有客户端可以在同一个命名空间下共享访问所有的数据，可以简化海量数据管理的复杂性。
加上采用同一 Web界面可以管理多套ParaStor300S存储系统，方便了用户对多集群的统一运维。从而，可以带给HPC存储用户更好的实际应用体验。
不止于此，重点行业全面开花结果
在ParaStor分布式存储创新不断的同时，曙光多控统一存储也在齐头并进，2018年发布了最新一代的DS800-G30系列产品。目前来看，ParaStor与DS800-G30在HPC领域中有着很好的分工，DS800-G30主要定位非计算类配套存储的支持，通过存储阵列来存储和归档，偏向于企业级信息化应用的场景。
新一代的DS800-G30系列
因而，在面向对性能、扩展性、成本等多个方面有着苛刻要求的领域，特别是HPC存储方面，依然还是ParaStor担当“主角”。但是，不止于此。
据惠润海介绍，近一年的周期内，曙光存储在运营商、气象环保、视频监控、生物基因、能源等多个重点行业领域，实现了突破性发展。其中，ParaStor的价值得到了进一步发挥，在重点行业全面“开花结果”。
在运营商领域，实现不断开拓进取的好成果。继金融行业之后，曙光高密度存储机型先后成功入围中国移动、中国电信集采项目，产品的可靠性和存储成本是获得客户认可的基础。
在气象环保领域，充分展现出ParaStor的海量数据存储处理的高效与健壮性。经过深度适配与优化，基于ParaStor分布式存储产品，曙光公司为国家气象局构建高达23PB的在线生产存储资源池正式投入运行。高峰运行期间，该系统同时承担超过3000个计算节点的存储共享服务，聚合访问带宽超过数百GB/s，为多个应用模式的天气变化预报和气候变化预测保驾护航。
在视频监控领域，立足ParaStor的坚实根基，实现人工智能、数据存储、大数据应用等多个方面的融合落地。截止到2018年，曙光公司先后为作为全国45个雪亮工程示范城市之一的宜昌市提供总量超过60PB分布式存储空间，接入超过18万路高清摄像头，市县总存储超过2万路。当前，该项目成为全国的先进示范，在全国多个省市大规模复制推广。曙光公司旨在为视频监控类应用提供开放、通用的存储方案，利用自身的影响和产品技术实力，曙光先后在项目中完成与超过50家主流厂商视频监控平台和视频分析应用的成功对接，新增近10个战略合作伙伴，打造智慧城市、交通、*整体解决方案。
在能源行业领域，根据企业用户需求不同，曙光存储依然可以长期持续提供核心的支撑能力。曙光DS900高端多控统一存储连续两年中标中石油集采，为中石油构建两地三中心的核心信息化系统；2018年ParaStor在石油和电力行业，累计部署规模数十PB，与主流商业软件的全面适配以及深度的性能优化是曙光赢得中石油、中石化、中海油等广大用户群体的核心优势。
在生物基因领域，ParaStor表现出了完美的应用匹配性与高性能。
曙光ParaStor助力天坛医院完成了面向高通量基因组学数据处理与智能病理影像识别系统项目建设，通过超高吞吐性能大幅度提高了面向测序数据及影像数据科研质量、缩短科研周期、降低科研成本。与第二代基因测试仪illumina、主流应用软件长期对接测试与优化是曙光扎根于该领域的基础，ParaStor对于生物信息复杂应用软件的完美适配以及均衡稳定的性能表现给某国家医疗大数据中心客户留下了深刻的印象。
从这些重点行业的发展中，曙光存储拥抱变革，积极布局，不断发扬扎根技术、主动创新的传统，长期持续加大在存储技术和产品上的研发投入。据透露，在2019年，也将推出分布式块存储产品，分布式统一存储产品，其中当然少不了ParaStor的强大技术基因。同时在NVMe全闪存产品布局上，也有了明确的路线图。值得期待。
小结：计算不止，存储不止
随着大数据与云计算的发展，相互融合趋势也呈现了出来，HPC与大数据结合的模式，已经备受业界所关注。同时在针对AI方面与HPC结合上，曙光有了全新举措和前瞻性的准备。
一方面，曙光与视频监控、人工智能领域有着长期坚持和积累的公司合作，形成在AI领域的业内生态合作，依托ParaStor提供全面的数据存储支持，包括在人脸识别应用、语音、视频、小图片数据处理等方面。
另一方面，曙光在融合HPC、云中心、大数据中心整体能力基础上推出了先进计算中心，目前，合肥、兰州、太原、西安、福州等多个地方正在陆续建立先进计算产业创新中心。
截止到目前，曙光已基本完成在先进计算领域的全产业链布局，包括E级超级计算、液冷绿色计算、人工智能计算、大数据计算、云计算、云操作系统等方面。当然，ParaStor依然在其中扮演着各类布局数据存储落地的重要角色。
由此可见，从全球超算TOP500榜单，让我看到了全球HPC发展的现状，更让我看到了榜单背后的存储力量。
从曙光的ParaStor在HPC及重点行业中的表现，也让我看到了新一代并行分布式存储系统的价值。
计算不止，存储不止。
——Aming编辑评论——
你
怎
么
看
？
欢迎文末留言评论！
本文来源：阿明独立自媒体，版权所有，侵权必究，转载请授权
本文章和作者回复仅代表该作者个人观点，不构成任何投资建议。