亚马逊云科技不仅是云计算的开创者,也是技术和行业的领导者,可以称之为云计算行业风向标,如果要了解云计算的发展趋势,亚马逊云科技的发展动态是绝对不能错过的。前不久刚举办了亚马逊云科技中国峰会,现在又迎来了2022亚马逊云科技 re:Invent全球大会,这也是亚马逊云科技每年的重要大会,通常来说 re:Invent 全球大会期间都会发布最新的核心技术。如果说亚马逊云科技中国峰会是针对中国市场的盛会的话,亚马逊云科技 re:Invent 全球大会就是面向创新的技术盛会,更加前沿,更加像风向标。
本次大会也是干货满满,既有 Nitro v5 系统、Graviton3E 芯片以及高性能计算实例 HPC7g、C7gn、网络优化机器学习实例 Trn1n,还有包含计算、网络、算法及 Serverless 等最新功能特性。换句话说现在云计算涉及到的从硬件到软件再到网络和实例基本都更新了一遍,如果你想更直接的了解云计算的前沿科技可以去他们的主页观看详细动态:
这次2022亚马逊云科技 re:Invent 全球大会的亮点实在是多,无法一一介绍,我想聊的是这个越来越硬核的亚马逊以及云原生数据战略。
自研芯片,越来越硬毫无疑问,亚马逊云科技是全球知名的互联网厂商,但是这几年变得越来越硬,从2013年推出首颗Nitro芯片至今已经拥有网络芯片、服务器芯片、人工智能机器学习芯片三条产品线。
亚马逊云科技作为互联网厂商为什么做芯片?其实道理也很简单,就像我们的手机一样,以苹果为例,大家都知道iPhone的A系列处理器芯片是苹果自研的芯片,IOS系统也是苹果自研,都是根据自己的需求量身打造的,而且高度契合。这样做的结果就是非常的流畅,此外造就了独一无二的生态系统,堪称软硬件一体化的典范,手机如此,云计算也如此,亚马逊云科技通过自研的定制化芯片以及系统软件和工具提供最优质的云计算服务。
这次2022亚马逊云科技 re:Invent全球大会上公布的 Nitro v5 系统、Graviton3E 芯片以及高性能计算实例 HPC7g、C7gn也证明了其在云计算领域的领先地位。
Nitro V5 系统Nitro系统发布于2017年,目前这是第5代产品架构,Nitro 系统通过将计算、存储、网络等传统负载 Offload 到专属硬件层面,大幅提升虚拟化及客户实例的性能,确保EC2计算实例能够将整个底层服务器资源完全开放给客户。因此,Nitro系统本质上是一套软硬件融合的系统,它由三个主要部分组成:Nitro虚拟化、Nitro I/O加速卡和Nitro芯片。
Nitro芯片可以看作是Nitro系统的基石,这次大会发布的Nitro V5芯片同样是基于arm架构,但是相比上一代有了巨大的提升,具体为:
- 晶体管数量是原来的两倍
- DRAM速度提升50%;
- PCIe带宽是原来的两倍;
- PPS提高60%;
- 延迟降低30%;
- 每瓦性能提升40%;
Graviton3E去年也就是2021亚马逊云科技 re:Invent 全球大会上,Graviton3芯片发布,相比上一代, Graviton 3将计算密集型工作负载性能提高25%,在相同性能下,与同类型 EC2 实例对比,可节省高达 60% 的能源消耗。这次推出的 Graviton3E系列芯片是Graviton3的一个变种,重点优化了在浮点运算和向量运算场景中的表现,其中对依赖矢量指令的工作负载的性能提高35%。所以Graviton3E更适合高性能计算领域、分子动力学(GROMACS)、金融期权定价(FINANCIAL OPTIONS PRICING)等场景。 从这里我们可以看出自研定制化芯片的优势,可以根据用户的需求强化芯片某一方面的特性,达到最佳的使用效果。 基于 Graviton3E 芯片,我们推出了面向高性能计算的 HPC7g ,适用于天气预报、生命科学、工程计算等高性能计算场景。这种新的实例类型有多种大小,最多具有64个 vCPU 和 128GB 内存,这些实例将在2023年初正式投入商用。 为了适配更多网络密集型工作负载需求,亚马逊云科技还推出了新的 Graviton 3E 实例类型 C7gn。
C7gn 实例&Hpc7g实例自研芯片使得亚马逊云科技可以量体裁衣,推出各种不同的实例,目前已经有超过600款计算实例,几乎可以满足一切云上负载的需求。Nitro V5芯片Graviton3E 芯片自然也出现在本次亚马逊云科技在2022 re:Invent全球大会上推出的Amazon Elastic Compute Cloud(Amazon EC2)实例中。
其中Hpc7g实例配备了 Graviton3E处理器,与上一代C6gn实例相比浮点性能提高了2倍,与当前一代Hpc6a实例相比性能提高了20%,为亚马逊云科技上的高性能计算工作负载提供了超高性价比。
C7gn实例则配备了新一代 Nitro V5芯片,与当前一代网络优化型实例相比,为每个CPU提供了多达2倍的网络带宽,同时将每秒数据包转发性能提升50%,为网络密集型工作负载提供了超高的网络带宽、数据包转发性能和性价比。
云原生数据战略云计算领域这两年最火的莫过于云原生,亚马逊云科技也是最早提出云原生概念的厂商,并且早在2012年就发布了业内第一个云原生数据库Amazon DynamoDB,2020年亚马逊云科技re:Invent大会上又提出了智能湖仓的概念。今年推出的Data Zone和Zero ETL则成为了业界亮点,进一步为数据一体化融合扫清了障碍。
这里不得不提 Swami在Keynote演讲中提出的三个核心观点:
- 需要能够应对所有未来情况的策略于云原生数据基础设施;
- 需要有组织把它们连接起来,打破壁垒实现数据一体化融合;
- 需要好的工具与措施来实现数据的普惠。
其实这就是亚马逊云科技云原生数据战略的核心,亚马逊云科技可以提供端到端的数据服务,Data Zone和Zero ETL在其中就发挥了很重要的作用。
DataZone数据越来越多,如何分类管理?如何跨组织边界大规模共享、搜索和发现数据?这是一个日益严重的问题,也是针对这个问题,亚马逊云科技提出了 DataZone的解决方案。 DataZone通过统一的数据分析门户协作处理数据项目,提供所有数据的个性化视图,同时执行治理和合规性策略,而且组织中的每个人都可以访问数据。
- 在业务数据目录中查找数据:使用业务术语搜索、共享和访问存储在云上、本地或与第三方提供商一起存储的数据目录。
- 简化工作流程:通过跨团队无缝协作并以自助服务方式访问数据和分析工具来提高效率。
- 简化分析访问:使用基于 Web 的应用程序获取个性化视图以发现、准备、转换、分析和可视化数据。
- 一站式管理数据访问:根据组织的安全法规,一站式管理和管理数据访问。
有了DataZone ,就可以将合适的人员以及需要的数据添加进来,根据这些个性化视图做出产品投资决策等。这样管理、分享以及访问使用这些数据会更加的便捷,大大提升效率。
Zero ETL
在之前我们聊过企业通过SageMaker在亚马逊云上方便地使用数据训练AI模型等,这是很方便也很实用的。但是有一个问题,数据的移动和融合,比如数据更新了是否需要搬运新的数据进行机器学习?这在以往是个繁琐的事情,现在有了Zero ETL这些问题就很容易解决了。
这里要强调一点Zero ETL不是一个服务,而是一个由多个服务组成的解决方案集合,其中涉及到了Amazon Glue,Amazon Redshift,Amazon MSK,Amazon Appflow,Amazon Athena,Amazon DataExchange。
比如数据的迁移,现在只需要使用其中的Redshift auto-copy from S3就可以自动复制这些数据,非常的简单。当然并不仅仅是从S3自动复制,Aurora zero-ETL to Amazon Redshift的集成可以不用管数据在哪个地方就可以开展实时分析和机器学习。因为Zero ETL 可以无缝链接所有数据源,不管在亚马逊云科技还是在第三方的任何应用上面。
目前亚马逊云科技可以将数百个数据源都连接联系在一起,这样就可以非常方便地把所有的数据都利用起来。Zero ETL的出现为有效地解决了数据孤岛的问题,可以近乎0投入的实现数据融合,而且非常的方便。
结语:洋洋洒洒写了几千字了,但这依然仅是2022年亚马逊云科技re:Invent全球大会的一部分,想要了解更多可以注册后在官网直接观看上线的字幕版直播回放。
,