华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”

用户头像
脑极体
关注
发布于: 2020 年 08 月 16 日

毕业季和招生季里的一次次“官宣”,让华为“天才少年”彻底出圈,也展现出了华为“凶猛”的技术人才进击态势。



大家在关注百万年薪的同时,可别忘记与顶级薪酬相匹配的顶级挑战。拿到高档offer的“天才少年少女”,都选择加入的华为存储相关领域,是十分值得关注的领域。



存储究竟有多重要?随着各行各业智能化的深入,数据基础设施自然也需要跟上节奏。越来越多的企业需要高效的数据存储与管理系统,来实现海量的数据管理与保护,为业务发展与经济增长提供保障。



而2019年,华为曾以“奥林帕斯奖”为名,鼓励科研人员积极创新,解决数据基础设施领域的技术难题。而火星的奥林帕斯山,是太阳系已知最高的火山,是珠穆朗玛峰的三倍,以此来类比,难度可想而知。





攀爬“太阳系之最”的技术高峰,自然需要专业且顶级的精英人才。所以,我们不妨暂时放下金光闪闪的高薪标签,来看看这些攀登者们是如何征服存储这座“奥林帕斯山”的。



远眺,万物智能的数据风景



拒绝腾讯、阿里和美国存储巨头西部数据的邀请,在四份offer中直奔华为的“天才少女”,选择与自己在校研究方向——新型存储介质(NVM,SMR)、数据库和键值存储系统——相契合的华为存储相关工作。



而天才少年也在接受采访中表示,最终选择加入华为,是希望能够和一群志同道合的人做有意义的事,怀抱理想让世界刮目相看。



存储如同圣杯,正在成为今天和未来的数据狂潮中全社会新的避难所,也吸引了众多年轻的有志之士为之奋斗。



目前看来,我们正在经历数据三变:



量级变大:数字化、智能化产业趋势的兴起,IoT设备逐渐变得无处不在,5G即将产生的超级联接,都让传统的IT基础设施面临着数据浪潮冲击;



价值变大:数据的存储与融通,已经从互联网产业的刚需,变成了各个行业未来业务增长的生产资料,5G+AI+云时代的新一代存储商业空间已经清晰;



产业之变:数据存储从底层承载平台,开始向数据流动、分析、利用的计算产业环节延伸,对硬件创新和软件迭代提出了全新挑战。



人类的智能时代已经笃定,新一代存储就成了必须翻越的山脉。



规划,向山顶迈进



在新一代存储设施的宏大挑战中,NVMe成了所有攀登者必须抵达的一座山峰。



2010年,NVMe(Non-Volatile Memory Express非易失性内存标准)标准接口协议诞生,就注定了会让挑战者高山仰止:



传统存储中连接固态闪存SSD的最典型方式SAS,吞吐量有限,随着存储介质性能百倍级以上的提升,已经成为限制硬件性能释放的天花板。



而NVMe则革命性地用简洁、直接的轻量级技术能力,释放了新的产业机会。



NVMe协议替代了原有的AHCI规范,并且软件层面的处理命令进行了重新定义,得以规范固态硬盘访问接口,去掉了SAS系统中的IO Scheduler和SCSI等复杂的协议层,利用多核处理器,降低协议交互时延。





与单队列SAS协议相比,NVMe协议可支持多达64K个队列,实现更高的并发处理。此外,通过PCIe直连,让CPU和NVMe SSD直接通信,比传统SAS架构更精简。有数据显示,如果采用SAS后端的SCSI协议,一次完整的主机数据写入请求需要通过4次协议交互,而华为NVMe全闪存只需要2次协议交互,处理写请求的效率比SAS全闪存高1倍,显著提高了固态硬盘的读写性能。



用一个类比来说,就是将原本草木丛生、人车畜共行的林间小道铲平了,修建一个更宽、更平坦的高速公路,数据自然能在上面快速流畅地通行。



根据Gartner预测,2022年NVMe SSD在存储中占比将达到52%。





听起来,似乎只要将这个新协议用起来就好了,有什么难的?攀登者在前往大本营之前,都会提前进行线路规划、了解即将面对的地形和可能的风险,而对于NVMe技术的落地,其存在的挑战就在于,想要一路给SSD“开绿灯”,并不容易。



首先,新技术从实验室落地市场,需要达到规模化应用的高能效比。NVMe SSD全闪存阵列在合理成本上发挥出它的性能极限,从单纯的注重性能发展到真实降低单位比特成本,才能吸引客户买单;



其次,需要完整的产业链支持,比如当时的全闪存阵列控制器架构都是为了适应机械硬盘而设计的,NVMe面临着软硬件适配、运维管理的重重阻碍。



另外,只有NVMe产品能够在企业业务中可以释放出真正的商业价值,特别是在分秒必争的企业场景,这就需要产品力的加持。



这些,都推动着攀登者们全面理解、步步为营、持续发力。



攀登,华为存储的三把“神兵”



在存储领域,传统的技术话语权柄一直被美国、日本等大国巨头厂商所把持。但变局在NVMe上发生了。



2018年,华为在中国存储与数据峰会上,发布了华为OceanStor 存储 Dorado系列,率先实现了全系列支持NVMe架构。



在达到这一成绩之前,华为也早已拿下了不少小的技术“据点”,比如发布了业内唯一端到端NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统等等。



智能存储的产业阶段,华为NVMe全闪存阵列,锤炼出了三把披荆斩棘、无往不利的“神兵利器”:



1.全面覆盖,化繁为简,指数级性能增长



华为更进一步,从网络、服务器、存储全部采用NVMe Over RoCE全IP组网设计,使用 TCP/IP 和 RoCE 来部署NVMe 闪存存储平台,让以往需要在多种协议(FC/IP/IB/PCIe/SAS)中复杂交互的局面,用NVMe一种协议完成了整个网的管理。



这样从前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议,其优势也显而易见:极大降低了存储时延,极致时延可达0.1ms;避免复杂的网络协议和规划,简化了数据中心和企业网络的部署和维护成本。





2.全面创新,端到端整体护航高可靠性



作为业界率先实现全系列端到端NVMe全闪存的厂商,华为自然也抢先交付出了一整套的产业价值。



以新一代OceanStor分布式存储、OceanStor全闪存、FusionData智能数据湖解决方案等为例,就基于智能无损网络和硬件,实现了数据在“采、存、算、管、用”整个生命周期的端到端整合和优化,将新一代存储技术更全面地融入数据基础设施。



为此,华为应用了一系列创新技术。



比如针对商用NVMeSSD盘必须快速在线更换的需求,避免暴力热插拔(PCIe surprise hot plug)可能导致的系统异常、业务中断,华为打造了智能无损网络和OceanStor全闪存联合NOF+增强方案,采用前端共享大卡在系统内实现故障自动巡检、即时感知、主动修复,链路故障感知时间只有1秒,端到端时延仅为75μs。与之相比,业内通用的NOF故障感知时间长达15秒,后者显然对于极大提升系统可靠性,保障端到端的稳定时延,起到了关键作用。



再比如,存储单点的可靠性往往需要采用双控冗余技术保障,但大部分厂商会放弃技术上较难的原生双PCIe端口,而选择另辟捷径,导致系统可靠性的降低。



而华为的解决方法是十年磨一剑,攻破了双端口技术,两个PCIe 3.0X2端口独立,互相不影响,为系统修复和异常处理提供了硬件基础,保证了系统双控冗余性,提升系统的可靠性。



为了解决硬盘重构时间增长,传统RAID技术无法保障系统可靠性,容易导致盘故障、数据丢失的问题,华为采用创新的RAID-TP软件技术,基于Erasure Code算法,将校验位做到支持1、2、3位可调,容忍同一个RAID组内1-3块盘同时失效,在3块盘同时失效的情况下能够容忍数据不丢失,业务不中断。这是目前美国戴尔、IBM等厂商都做不到的。





(华为支持NVMe Over Fabric的端到端方案)



3.软硬件结合,从工作流程、工具链、产品化的全面升级



要让数据在整个生命周期内都能满足时代诉求,面对的挑战还有很多。所以除了仅在硬件产品优化上做文章之外,华为也从底层出发,从工作流程、工具链到产品进行了全方位使能。



举个例子,华为率先在NVMe全闪存领域实现免网关双活方案,基于闪存的硬件和软件优化,双活时延达到1毫秒,性能业界最高,保障业务7*24高可用,并支持从双活方案平滑升级到3DC方案。



华为OceanStor 存储 Dorado系列还开发一系列自动化部署工具,把运维工程师从复杂繁琐的网络部署工具中解放出来,全面提升从网络规划到实施的易用性。加上人工智能技术智能预测故障、定位问题、实时健康度分析、分析性能和容量趋势等等应用,大大降低存储系统运行风险和运维成本,将存储管理效率提升5倍以上。



通过这一系列组合拳,华为正在将NVMe技术不断融入到存储阵列之中,在数字化升级的时代浪潮中,让各行业都能直观地感受前沿技术带来的体验质变。



冲顶,全球存储,中国时刻



不出意外,华为的技术攀登者们成功在一个个大本营胜利会师、安营扎寨。



在技术分析机构DCIG的《DCIG 2020年-2021年全闪存阵列购买指南》中,华为OceanStor存储Dorado系列占据C位,位列最佳推荐榜首,超越其他所有竞争对手。



全球权威机构Gartner公布的最新数据显示,2019年华为存储全球增速第一,成为市场中后劲最足的厂商。



在2020年第一季度全球存储供应商普遍出现营收下滑的背景下,华为存储逆势保持24.7%的高速增长,其中华为全闪存增长率高达45.1%,远高于市场平均增长率和其他竞争对手。





从2002年起步至今,华为存储从零创业,到如今拿下NVMe的技术高地,加速向全球市场冲锋,后劲都来自哪些要素?或许可以将其总结为华为存储的“四大能量”:



1.技术信念。华为在存储和硬盘领域钻研多年,是目前业界唯一自研存储控制器、SSD盘和存储芯片的厂商,充分了解数据存储的全流程,将这些经验应用在NVMe系统中,增长迭变速度越来越快;



2.创新意识。不断将新的技术、理念、工具融入到存储领域当中,全栈采用NVMe、芯片级端到端加速、SCM+分级/缓存技术、智能AI算法FlashLink等等,每一次创新都转化为向上攀登的强劲动能;



3.尊重市场。无论是人工智能、大数据、自动驾驶、区块链等先进领域,还是在医疗、制造、金融等传统行业,华为存储对各行业的数据困境都十分尊重,全系列NVMe的产品阵列,降低了用户使用领先存储技术的门槛,提供了更灵活、经济的选择,帮助更多企业快速推进数字化转型。



4.重视人才。华为在优秀人才的吸纳上从来都不遗余力,在科研上的投入甚至超过了当年的净利润。而从任正非的只言片语中我们知道,华为至少有700多名数学家,800多名物理学家,120多名化学家,六七千名的基础研究专家,6万多名各级高级工程师。华为华为18万员工中,有将近45%的人在从事基础研究工作。



从这个角度看,华为存储在全球市场的冲锋,看似是一场短跑冲刺,其实是一场绵延将近20年、砥砺前行的马拉松。



人类不断向火星发起探索,是用梦想自我定义能力上限的过程。而华为存储的一次次技术上探,其实是源于一个伟大梦想的无限延伸。



用户头像

脑极体

关注

还未添加个人签名 2020.06.12 加入

还未添加个人简介

评论

发布
暂无评论
华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”