(易欢/文)这是一个数据急剧膨胀的时代。随着数字化转型的不断推进,更新的技术和平台也在不断涌现,从而导致了数据的爆炸。我们可以看到在数据链条上大量的数据在终端产生之后会转移到我们的云核心或者边缘的数据中心,对于数据存储的难度和管理难度都大幅度增长,如何应对这一问题,成为业界关注的重点。
秉承着赋能定制化、开放且可扩展的数据中心架构的核心使命,西部数据公司 (NASDAQ: WDC)日前宣布推出分区存储技术,旨在为云和超大规模数据中心架构师融合创新与行业标准,从而设计出高效的存储层,帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本,实现更大的规模效益。
全球数据将进入ZB时代
随着自动驾驶技术、ioT、智慧城市的落地以及未来5G的普及,数据量正在疯狂的增长。据IDC一组数据显示,全球在2010年正式进入ZB时代,并以40%的速度增长着,预计2020年全球数据量将达到35ZB,也间接意味着全球数据将进入ZB时代。
不仅如此,IDC报告指出,预计从2023年起,企业、机器、工业、消费、科学等领域每年产生的数据量将高达103 ZB*。
然而,在ZB大数据的时代,根据应用所采用的定制化仍然是停留在系统的层面,它的定制化的能力和需求并没有延展到我们的硬件部件当中,HDD、SSD存储数据、转移数据的管理方式仍然是在部件层面实现,通过部件层面存储期的固件来管理数据的存放。
这样的存储架构效率低下,并且在面对越来越多的工作负载、应用和数据集时,可能会产生巨大的资源需求和成本开销,因此针对下一代数据发展,我们需要新的数据中心结构:可编程的去集群化基础架构。
由于越来越多的数据具有顺序写入的特性,例如视频、物联网/边缘数据、监控,以及可以分组或“分区化”成更大数据块(如大型人工智能/机器学习数据集)的数据,这使我们可以加速推广分区存储设备,对工作负载进行合理优化,从而提高性能和效率,更早的实现总体拥有成本的降低。
分区存储架构分区存储架构赋能应用层、主机和存储互相协调数据存放位置,以充分利用在SMR HDD上可以实现的最大存储容量,以及在融入新兴分区命名空间 (ZNS) 标准的NVMe SSD上可以实现的更好的耐久性和可预测的低延迟和QoS(服务质量)性能。
分区存储赋能存储架构重构
ZNS是NVMe标准规划内的新特性,也是对SMR技术的补充,它让开发人员在共同的软件堆栈下可以不分存储介质类型有效的调用SMR和ZNS。预计到2023年,西部数据公司将在SMR上提供50%的HDD 容量,而客户可以利用其SMR应用开发成果涵盖高容量ZNS SSD。SMR和ZNS也将通过提供智能化应用架构成为当前和未来ZB级数据时代的关键基石。
IDC基础架构系统、平台与技术集团副总裁Ashish Nadkarni表示:“毫无疑问,我们的行业需要凝聚一心,寻求一种创造性的新方式来设计并构建面向未来的基础架构,以便更智能及高效地优化工作负载、存储和计算基础架构。预计到2022年,HDD和SSD的总金额将达到IT基础架构总支出的27%,我们认为,对于云和超大规模数据中心客户来说,SMR、和ZNS SSD是其优化基础架构、实现更大规模经济效益的良机。”
<由左至右:西部数据公司产品市场部副总裁-Eyal Bek、西部数据公司产品市场部副总裁-朱海翔以及西部数据公司高级副总裁兼中国区总经理-Steven Craig>
他进一步讲到:“通过开放且标准化的方式统一ZNS和SMR架构是符合业界逻辑的一个进步,能够利用SMR HDD面密度的增加和闪存技术创新的优势。率先进入这一市场的用户无疑能够在总体拥有成本和学习曲线方面占得先机。”
SMR和ZNS正在从根本上重塑云和企业数据中心,以确保在未来能够长期节约总体拥有成本。随着生态系统的不断发展和SMR的推广,西部数据致力于在提供高容量的同时不断演进能源辅助磁记录技术。目前西部数据Ultrastar DC HC620 SMR15TB硬盘已批量出货。
西部数据还宣布针对早期分区存储工作而推出ZNS开发SSD。与传统的NVMe SSD相比,ZNS NVMe SSD具有多种优势。这些ZNS SSD符合NVM Express公司定义并管理的ZNS功能集规范,旨在减少写放大,增加可用容量,并提供更高的吞吐量和更低的时延。ZNS SSD通过将“区域”与SSD的内部物理属性进行匹配而实现这些改进,有效的减少数据存放低效能的现象。
开源套件助推分区存储落地
作为在NVMe联盟持续做贡献以及长期为开源社区提供基于SMR工具的自然延伸,西部数据特别推出了ZonedStorage.io。
“该网站与开源社区、客户和行业参与者通力合作,目的是在开发人员社区内启动应用开发计划,帮助数据中心基础架构工程师更好的利用分区存储技术。”西部数据公司产品市场部副总裁朱海翔对记者介绍称。
朱海翔表示:“ZonedStorage.io包括了适用于ZNS和SMR共生标准的开源工具和资源,提供有关西部数据Ultrastar SMR HDD 和新型Ultrastar ZNS NVMe开发的SSD信息,为管理定制化ZNS SSD和容量优化的SMR HDD提供了统一的框架。通过这一举措,开发人员将对社区、行业参与者及支持者构成的蓬勃发展生态系统充满信心,其中生态系统的成员已经包括ATTO Technology、Broadcom、Mellanox和SUSE。”
除了推出ZonedStorage.io网站外,西部数据的产品套件还包括Ultrastar ZNS NVMe开发SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB现已推出并向已通过验收的客户批量供货。Ultrastar ZNS NVMe开发SSD也将向部分客户开放。
针对开源,西部数据公司特意强调,在整个开源套件的网站上,几乎没有任何的关于西部数据的logo或是软性广告等商业化内容。西部数据公司希望通过这种无商业的表态和方式,给予全球开发者信心和支持,同时更希望大家能够携手共进,推动分区存储的落地。
此外,在今天的分区存储技术媒体发布会上,西部数据展出了20TB SMR HDD,同时,此款20TB的机械硬盘,会将在2020年开始出货。据介绍,此款基于SMR存储技术大容量机械硬盘的诞生背景,其实是源于当下全球数据需求的爆发性增长,作为一款用于数据中心的SMR机械硬盘,20TB容量,相较于当下主流的14TB或是15TB,容量上虽然仅仅是增长了20%左右,可配合着分区存储技术,同样存储1ZB数据的前提下,可以减少2500万台HDD,或是42000个60槽位的机架。
,