
Whoscored中文官网 | 编译自 InsideHPC

"FLOPS很便宜,传输数据很昂贵"。在HPC圈子里,经常听到这样的感慨。越来越多的人认为,经典的HPC系统和为其提供动力的先进芯片正在逼近其实际极限,需要一些基础性的新技术来建立更加平衡的系统,以实现超级计算能力的下一个重大进步。
这种感受的核心是连接性。计算机的处理、内存、存储等等,它们的功率和容量在继续增长,但电气I/O互连带宽虽然也在扩大,却没有跟上步伐。
这个问题在HPC中被广泛认可。不过,如何通过转移到一个新的和卓越的互连技术来解决这个问题,这在研究实验室和科技公司才刚刚开始发生。
在2022年10月份于美国达拉斯举行的SC22会议上,题为 "用硅基光电子技术改变HPC的未来 "的会议非常吸引人,来自劳伦斯伯克利国家实验室、哥伦比亚大学、英伟达公司、Ayar Labs、国防高级研究计划局(DARPA)、能源部(DOE)高级科学计算研究办公室、英特尔和南加州大学的小组成员参加了这次会议。
如标题所示,硅基光电子技术有希望实现HPC级服务器的重大性能提升,同时大幅降低功耗。小组成员和光学I/O倡导者、英特尔实验室高级首席工程师Fabrizio Petrini指出,HPC界对硅基光电子技术仍然持怀疑态度,在广泛采用之前还有更多的开发工作。
"但是有一些事情是站在我们这边的",他说,"例如,铜最终达到了一个极限。非常聪明的人正在努力推进电子技术,但是他们没有找到足够的解决方案。他们已经到了一个地步,你可以从声音和会议的语气中看出,一种绝望的程度,因为他们有一个问题。"
硅基光电子技术初创公司Ayar Labs的首席技术官、工程高级副总裁和联合创始人Mark Wade以一系列问题的陈述开始他的会议发言,其中包括"带宽需求持续增长,给流过芯片封装的电子传输带来重大压力"。
他说,对于今天的一些分布式系统来说,每套系统有10多兆字节/秒的带宽流过芯片封装,而利用内存和存储池的分解和异构架构对数据传输提出了巨大的带宽和延迟要求。

来源:Ayar Labs
面对这些压力,Wade说,用于HPC级服务器的先进芯片的设计者已经采取了权宜之计来扩大带宽,包括铜质飞线和重定时器。但这些都带来了一系列新的问题:更高的成本,更热的芯片和系统需要更多的电力消耗,极端的电路板密度和电路板复杂性,以及造成路由拥堵。
"这是一个带宽瓶颈。。。",Wade说,"你真的是在和物理学一路对抗。"
英伟达网络研究总监拉里-丹尼森(Larry Dennison)说:"我们终于到了这样的地步:有一个客户或市场有足够大的痛点,可以克服['哎呀,这不是一个以太网收发器]这方面的问题"。"我们确实花了一些时间才认识到我们将遇到一堵墙,这堵墙的性质是成本和带宽,这对我们来说终于变得更加清晰了。当然,在英伟达内部,我们也认识到了这一点,我们正在大力投资于硅基光电子技术。"
硅基光电子技术不仅提供了大幅提高数据传输速度的承诺,而且还降低了能源消耗。另一个有吸引力的特点是:其闪电般的性能可以穿越长距离和短距离-- 小组成员称之为 "距离独立性"。而这反过来又让人想到光I/O是HPC新时代的推动者:正如电I/O将该行业推向了当今密集而热的芯片、系统、集群和数据中心一样,硅基光电子技术可以为未来的系统架构开启全新的方法。
小组成员、能源部高级科学计算项目办公室项目经理Rich Carlson说:"距离并不重要,一旦我们进入光子范围,我们就可以开始考虑重做我们的架构;要更加分解;要有内存、计算加速器、不同种类的技术与全新种类的技术联系起来,比如量子。在这个世界上,我们正在做多种技术、多种系统,而我们要把它们都结合在一起,因为我们有一个光子系统把一切都联系在一起。"
小组成员、哥伦比亚大学电气工程系Charles Batchelor教授Keren Bergman接过了这个话题。

来源:Keren Bergman, Columbia University
她说:"在光子学的系统层面,我们有这种令人难以置信的带宽密度,非常低能耗的光子I/O。我们可以考虑这些新的架构,我们可以考虑用我们目前在芯片插座中的相同带宽在整个系统中发送数据。这确实为这个社区开辟了扁平化架构的潜力,而这种架构不受带宽的限制。“
她继续说:"关键的一点是,对于光子学来说,它本质上是关于距离的独立性。这是关键所在。。。。,我们可以用同样的带宽和同样的能量将数据发送到系统中的任何地方。"
Wade对这个想法进行了扩展。
"如果我们有一个光学I/O结构,我们可以开始用它做什么?好吧,这个想法是,一旦你进入光域,你实际上是【距离不敏感的】“。他说。"因此,从几厘米到几公里的任何地方,光信号并不真正关心你在这个距离上走多远。你可以开始建立架构,研究扁平化计算节点和内存池等事物之间的访问。你可以利用光学的一些扇出功能,减少访问资源时必须经过的交换跳数。你可以开始剥离现在发生的这种密集的集成,当所有的东西都是电子信号时。你可以说,让我们利用光I/O的距离来实际解决其中的一些关键瓶颈问题。“
他设想了CXL(Compute Express Link)可以发挥的关键作用,CXL是为数据中心服务器设计的高速CPU到设备和CPU到内存连接的开放标准。

来源:Ayar Labs
"这个想法是,你将有光信号直接从这些小插座中出来,访问内存池",Wade指着幻灯片说, "这个例子显示了类似于CXL集线器的东西,它的I/O连接到这些内存池中。然后你也可能去找CXL交换机,但在一种更平坦的网络拓扑结构中。"
CXL提出了一个对硅基光电子技术的未来至关重要的问题。HPC行业采用一项新技术需要开放的标准,使其能够与现有的组件整合,这需要一个生态系统。看看GPU。当英伟达在2010年和2011年帮助建立一个早期的超级计算机(橡树岭国家实验室的Titan),将GPU和CPU结合起来时,该公司还支持形成一个生态系统。该生态系统支持GPU-CPU的整合及其优化和商业化,包括资金支持、编程语言的开发、培训和服务、补充技术、市场营销和培育实施机器学习应用的数据科学家社区。最终,基于GPU的技术战略和商业模式遍地开花,全面确立。
相比之下,IBM多年来努力建立一个以POWER处理器和服务器为中心的HPC生态系统,但该生态系统从未达到临界质量,到2019年,IMB已从超级计算系统业务中转移出来。
SC22会议上的光学I/O会议显示,硅基光电子技术已经形成了一个生态系统。不仅仅是风险投资的初创公司,还有大型芯片公司:英特尔、英伟达和AMD,都在积极开发这项技术,大部分处于原型阶段。能源部的国家实验室、超级计算机研究中心和学术界也在进行研发,例如伯格曼和她的团队在哥伦比亚大学所做的工作。
Ayar Labs的案例很有启发性。这家成立于2015年的硅谷公司将芯片的电信号转换成光速的光信号。它的任务是:全面实现光学I/O芯片的商业化。该公司部分由英特尔前高级执行官领导,如首席执行官查理-沃施帕德(Charlie Wuischpard),他是一名HPC老兵,于2018年加入该公司,深谙技术商业化的文化和方法论。
Ayar Labs的TeraPHY光学I/O芯片已被设计为与其他芯片公司的计算瓦片一起封装,使用CXL(见上文)和UCIe(通用芯片互连快递)等开放标准。在SC22大会上,Ayar Labs展示了他们的芯片组和SuperNova多波长激光器的2 Tbps全双工工作演示。
以下是Ayar Labs的一系列里程碑,它将在未来几年内实现全面量产。

Ayar Labs的成立,得益于英特尔资本的投资(该公司的风险部门)。自2015年以来,该公司与GlobalFoundries合作开发了GF Fotonix平台,这是一个针对光子学和电子学优化的工艺。该平台最近获得了商业准入的资格,这意味着它符合量产、工艺和可靠性指标,并展示了工艺设计套件(PDK)的成熟度。
在过去的一年里,Ayar Labs宣布了一些合作伙伴和新客户,包括1.3亿美元的风险投资,与HPE(见 "HPE和Ayar Labs合作为HPC和AI的Slingshot Fabric带来光学I/O")和NVIDIA的合作,与洛克希德-马丁公司的合作,以及支持美国国防部KANAGAWA项目的1500万美元的多年期合同。
所有这些活动,使Ayar Labs能够断言它在商业化方面有两年的领先优势,Wade用下面SC22会议上的这张幻灯片来表示支持。
Wade说:"硅基光电子技术现在正处于这样一个阶段,一个大的生态系统正聚集在一起,以一种可制造和可扩展的方式解决我们的挑战。因此,如果你看看与我们合作的人,看看谁投资了Ayar Labs,谁是我们的开发伙伴,我们已经投资了整个供应链。我们的观点是,每个人都必须走到一起,大力推动生态系统,以使这些解决方案真正的批量地推向行业。"
