为构建面向未来的高能效计算系统,研究人员们正在尝试各种各样的新颖技术。

其中,一种基于新兴超导技术的方法正在展现出重要潜力。

在去年夏天落下帷幕的国际计算机体系结构大会 ISCA 2019 上,美国东北大学的王言治研究组和日本横滨国立大学的吉川信行、Olivia Chen 研究组,共同提出了基于 AQFP(Adiabatic Quantum Flux Parametron)超导量子计算技术的神经网络硬件加速系统。

据了解,这种专用于神经网络计算的硬件系统,能耗表现要比 CMOS 强将近 7 万倍,速度快 30 倍,是当前实现神经网络硬件加速的最高能效平台。

而在继电路和系统设计在 ISCA 亮相之后,团队成功流片,流片与测试工作也将发表在近期的 Science 子刊上。

AQFP的神奇之处

这种新的计算平台的一大关键点在于采用了 AQFP 来实现能耗下降。

AQFP 是近年来新出现的一种超低能耗超导量子计算技术,可以达到目前已知材料 / 计算技术中最低的能耗,接近量子极限值。相比于最前沿的 CMOS 材料与计算,AQFP 的能耗仅为前者的万分之一到十万分之一。

分析电路能耗要从两个方向去看——静态功耗和动态功耗。其中,静态功耗是为了维持电路中各器件的正常工作,而动态功耗一般指元器件的状态变化时产生的能耗,例如开关管的开启和关断都会产生动态功耗。基于 CMOS 技术的电路都绕不开静态功耗和动态功耗,并且随着电路频率的上升,开关管的开启和关断越来越快,能耗也越来越高。

相比之下,AQFP 节能的特性源于超导的物理特性和断热型供电方式(adiabatic biasing)。

从器件层面来说,AQFP 技术中所有的逻辑门元件都是基于超导约瑟夫森结制作的。

这是一种利用超导材料制成的三层器件(超导 - 绝缘 - 超导),其发现者英国物理学家布赖恩 · 约瑟夫森因首次预测了超导状态下库珀对的隧穿现象,获得了 1973 年诺贝尔物理学奖。超导约瑟夫森结因其特有的物理原理能够将器件工作时的开关功耗降至 10-21 J 左右。

光子神经网络芯片(新兴超导量子技术实现神经网络硬件加速系统搭建)(1)

图丨约瑟夫结

另一方面,相比 CMOS 逻辑电路中采用直流电为偏置电压,AQFP 采用交流电供电,再加上超导体无电阻的特性,几乎将静态功耗无限趋近于零。在此基础上,AQFP 更进一步降低了超导器件的临界电流值(器件开关所需的电流),并引进了断热型供电技术,该技术可有效地将超导器件的动态功耗再降低千倍以上。

AQFP 技术的一个里程碑事件发生在 2016 年。当时,横滨国立大学的一支团队成功制造并测试了一块拥有 8.3 万个约瑟夫结的 AQFP 芯片,展示了使用 AQFP 实现更大规模系统的可扩展性和潜力。

探索将其用在当下最为火热的神经网络计算,成了自然而然的事情。

对此,研究的领导者之一王言治对 DeepTech 介绍道:“我主要从事神经网络的高效实现(详见参考),包括在手机等终端上的实现,在接触到日本横滨国立大学的吉川信行教授(AQFP 超导计算技术的主要发明人)和助理教授 Olivia Chen 的工作之后,我们了解到 AQFP 是目前能效最高的技术,在现存的低功耗技术中,AQFP 不仅更接近量子极限,并且具备突破热力学极限的特性,是 CMOS 之外建立高能效数字电路的强有力候补技术之一。经过进一步的讨论,我们认为 AQFP 超导技术适用于神经网络加速,就开始了这方面的研究工作。”

光子神经网络芯片(新兴超导量子技术实现神经网络硬件加速系统搭建)(2)

图丨 基于 AQFP 技术的神经网络实现流片,以及在横滨国立大学的低温测试。

光子神经网络芯片(新兴超导量子技术实现神经网络硬件加速系统搭建)(3)

图丨开关关断时,通过开关管的电流和两端电压存在非零的交叠,根据 P=UI,就产生了动态功耗

对于实测的结果,王言治说道:“在逻辑架构上我们也做了一定创新,使得 AQFP 适合人工智能,随机过程应用。实测能效(比起 CMOS)可以高 5 到 6 个数量级。”

拉住能耗巨兽的缰绳

其实,能耗问题一直就是信息技术领域的一个大问题,如今由于信息高速化的 “愈演愈烈”,能耗问题变得避无可避,因为创造和传播信息的速度变快了,而信息的每一步都需要能量。

据统计,2016 年全年的信息能耗就高达 700 亿千瓦时,占到美国当年能耗的 2%。按道理来说,这个数据随着时间会持续增长,到 2020 年信息能耗预计会达到全世界电能的 20%。

特别是越来越强大的 AI 模型,对数据中心电力的吞噬也愈发肆无忌惮。

光子神经网络芯片(新兴超导量子技术实现神经网络硬件加速系统搭建)(4)

图丨NLP 4 大顶尖模型的训练用时、能耗效率和碳排放(来源:ACL 2019)

应用材料公司 CEO 加里 · 迪克森(Gary Dickerson)曾经给出了一个大胆的预测:在材料、芯片制造和设计方面缺乏重大创新的情况下,到 2025 年,数据中心的人工智能工作量将占世界用电量的 10%。要知道,目前广为诟病的比特币挖矿每年消耗电量超过 20 亿瓦,也只是大概相当于全球电量的 0.5% 而已。

AQFP 技术就是希望挑战满足既降低能耗、又提高计算能力的苛刻要求。

但需要强调,即使有着巨大的潜力,AQFP 离商业仍有距离。

王言治进一步解释道:“大规模应用上的瓶颈主要有两方面,一方面是因为该技术仍然处于学术研究阶段,超导芯片的集成度受现有工艺和设计环境的限制,随着制造工艺的进步以及适用于超导电路的 EDA 设计环境的完善,该瓶颈将得到有效解决。

另一方面,约瑟夫结的工作环境是低温才能维持超导的特性,那么由低温运行环境需求带来的冷却成本也是绕不开的麻烦。因此超导数字电路更适合用于大型计算环境如超算、大型数据中心,甚至特别适合极端条件的空间技术应用”。

,