近期,曦智科技高级副总裁兼美国区总经理Maurice Steinman在ASPENCORE旗下著名工程师社区Electronic Design News(EDN)发表署名文章《Rapid scale-up in data center: The case for distributed optical circuit switching》。他指出,AI基础设施正从单服务器走向跨机架超节点,分布式光交换(dOCS)技术可在不大幅改动现有架构的前提下,以更低延迟、更低功耗和灵活的拓扑控制,为Scale-up网络的规模化扩展提供切实可行的新路径。

AI数据中心正迈入发展新阶段,最棘手的难题已不再是打造出更快的加速器,而是如何让数千个加速器持续获得数据、保持同步,使它们像一台机器般稳定运转。无论是训练前沿大模型、处理长上下文推理,还是运行智能体工作负载,都提出了同样的需求:越来越多的设备需要在更远的距离上通信,同时不能让网络在成本、延迟、功耗或可靠性方面成为瓶颈。这就彻底改变了Scale-up的定义——它不再只是单个服务器或机架内部的连接,而是必须跨越多个机架,同时仍需保持紧耦合系统所要求的低时延特性。
英伟达也曾指出,当AI工厂达到“极限规模”时,网络基础设施“必须彻底革新才能跟得上发展”。该公司近期在硅光技术的布局,恰好应对了AI基础设施中日益关键的几项指标:能效、信号完整性、系统韧性及部署速度。
这种侧重反映出一个更广泛的行业趋势——瓶颈不再只是单条链路能否将数据从一端传到另一端,而是整个网络架构能否在支撑大规模、紧密同步的加速器集群的同时,降低功耗、减少故障点,并具备实际部署和运维的可行性。
铜互连:
铜互连因技术成熟、延迟低,且在短距离内成本效益突出,一直是Scale-up网络的标配。然而,随着每通道传输速率不断提升,物理约束愈发突出。更长的铜互连路径会增加插入损耗和信号完整性设计压力;而加粗线缆虽有助于改善信号,却会牺牲布线密度、阻碍散热,并增加制造难度。
机架级线缆组件的装配和维护也会变得困难,一旦出现故障,可能需要更换大型机械组件,而非一个小型模块。尽管重定时器、均衡技术以及更复杂的板级设计能在一定程度上延长铜缆的使用寿命,但始终无法从根本上消除“传输距离-互连密度-功耗”之间的根本权衡。
传统可插拔光模块:
传统可插拔光模块能解决其中一部分问题。它们在长距离传输中的衰减比铜线小得多,因而被广泛用于Scale-out网络。但Scale-up互连与Scale-out以太网有着本质区别:Scale-up流量通常对延迟、同步和集合通信有着更严格的要求,并且在新型架构中甚至可能承载内存语义流量,而非普通的分组网络流量。
面对这一环境要求,仅看单条光链路的基础规格还不够,整个网络还需要具备确定性路径、快速重构能力、高可维护性,以及更小、更可控的故障域。

图1:下一代Scale-up与Scale-out解决方案突破了传统电互连与可插拔光模块限制
来源:曦智科技
共封装光学(CPO):
从长远来看,共封装光学(CPO)技术固然是一项重要的解决方案,但它无法直接替代当前数据中心设计中的现有组件。将光引擎集成到芯片封装内部或附近,会改变散热、封装、制造、维护等环节的既有模式。目前业内关于CPO的讨论大多集中在以下这些实际操作问题上:如何提高光学组件的良率、如何实现光学接口的现场可维护性,以及如何在大规模部署中管理光源和冗余。
英伟达近期发布的Spectrum-X Ethernet Photonics同样表明,CPO早期商业化的进展主要落在AI工厂中的Scale-out和Scale-across(跨数据中心扩展)场景上。面向Scale-up的CPO会随后跟进,但它需要回答一个不同的问题:在改变底层物理介质的同时,如何保持紧密耦合计算域原有的运行特性?
这正是分布式光交换(dOCS)的核心价值所在。它打破了将交换功能集中在核心机架内的传统做法,巧妙地将紧凑的硅光交换组件部署在服务器、GPU托盘或各类XPU侧。由于省去了交换机,计算密度得以提升。其目标是让数据在交换路径上始终以光信号形式传输,减少不必要的“光-电-光”转换,同时也避免了大型集中式电交换芯片带来的功耗与成本负担。通俗来说,dOCS不再把Scale-up网络看作固定布线系统,而是将其打造成一张可灵活配置的光学网络。

图2:分布式光交换(dOCS)将光互连与光交换功能集成于一个紧凑模块中
来源:曦智科技
这种区别至关重要。随着Scale-up规模的扩大,传统的集中式交换机将变得成本高昂、功耗高,运维负担也随之加重,甚至还可能形成较大的故障域。而分布式光交换则将交换功能拆分到多个小型模块中,从而缩小单点故障的影响范围,实现更精细的维护粒度。在一项公开方案中,dOCS 模块基于硅光器件、控制器、驱动电路和接收电路,将光互连与光路交换功能集成到一个模块内。这一架构能实现毫秒级故障转移,可在设备故障时切换至热备GPU。对于AI任务而言,dOCS灵活重构的价值不仅在于提升系统韧性,还在于拓扑控制功能 ——因为训练和推理的不同阶段对网络结构的要求各不相同。
密集的All-Reduce通信、混合专家(mixture-of-experts)路由、检索、KV-cache迁移以及流水线并行(pipeline-parallel)等操作,并非都能从同一种拓扑中获益。而基于光交换的网络层可提供环形(Ring)、网状(Mesh)或Dragonfly等多种拓扑结构,并能根据具体并行需求动态调整网络形态。近期基于dOCS的超节点研究已能实现在单一逻辑域内对500多个GPU进行实时拓扑重配置和弹性扩展。但比具体数字更重要的是其背后的设计理念:网络不应是静态约束,而应成为可调度的动态资源。
这也解释了为何dOCS在某些架构中尤为关键。超节点并非只是贴着营销标签的噱头,它是由一组紧密互连的GPU或其他加速器构成的,力图像一台大型计算单元那样协同运行。在这种情况下,模型FLOPs的有效利用率取决于加速器用于计算而非等待的时间比例。
Scale-up 光互连链路可将互连范围扩展至跨机架;在控制系统调度下,光路交换可根据集合通信需求配置端到端光路。最终的结果不仅是数据表上亮眼的带宽数据,更是实实在在的算力利用率的持续提升。
同样的逻辑也适用于内存。如今AI系统越来越受限于内存容量、带宽以及内存与计算之间的物理距离。虽然加速器上的高带宽内存(HBM)不可或缺,但它容量有限且成本高昂。长上下文推理和智能体工作负载会生成大量KV Cache,并在多轮交互中保留更多状态,从而进一步加剧了这种压力。
CXL之所以重要,是因为它为处理器、内存扩展和加速器提供了缓存一致性互连,能以较低的软件复杂度实现资源共享。但一致性内存结构仍然需要物理上的传输距离。而光学PCIe/CXL链路和可重构光交换技术可将内存从孤立的本地资源转变为跨主板、跨服务器乃至机架的共享资源池。
dOCS的实际优势在于,它提供了一条中间过渡的部署路径。数据中心运营商无需重新设计每台服务器、更改每种协议,也不必等待CPO技术完全成熟,就能在Scale-up内获得光传输距离和交换灵活性。基于dOCS的网络结构可在物理层保持协议无关性,在底层更换传输介质和交换机制的同时,支持多种上层网络协议。这一点很重要,因为AI数据中心通常是异构的——其中包含来自不同供应商、更新周期各异的GPU、CPU、XPU、交换机、存储设备、内存扩展设备和管理控制器。

图3:如图所示,dOCS架构通过提供中间过渡的部署路径,展现了其实用优势
来源:曦智科技
因此,合理的技术发展路线并非在铜互连、可插拔光模块与CPO之间做非此即彼的选择,而应分阶段演进。线性可插拔光模块能在不大幅改动架构的前提下解决当前的距离和功耗问题;分布式光交换可提升网络重构能力、可用性,和Scale-up网络的覆盖范围;近封装光学可进一步缩短电路走线、提升密度;而CPO则最终将光I/O直接置于GPU或交换ASIC旁,实现最高的带宽密度和最低的电损耗。每一步都在让光学更靠近计算,但每一步也必须兼顾可维护性和实际运维的可行性。
AI基础设施行业正在重演计算机发展史中的一条规律:最终胜出的技术,往往不是器件本身最精妙的,而是能恰逢其时地融入现有系统、软件生态、制造工艺和运维体系的那一个。dOCS恰好符合这一点,因为它直面了当下的真实瓶颈——它突破了Scale-up中铜互连的局限,避免了反复光电转换的效率损耗,支持灵活的加速器拓扑,同时通过故障隔离、快速重路由以及在硬件故障时切换到备用资源,提升了系统的正常运行时间。
未来的数据中心必然会同时采用多种光学技术:可插拔光模块、线性驱动光模块、近封装光学、共封装光学、光I/O芯片组、支持CXL的内存网络,以及光交换机。dOCS的价值在于,当其他光学技术路线仍在逐步走向成熟时,它已为运营商提供了一种可快速部署的Scale-up方案。
对AI基础设施而言,这或许才是最有意义的创新:不是对数据中心推倒重来,而是让下一代的超节点比上一代更大、更高效、更可靠、也更容易部署。

关于Maurice Steinman
本文作者Maurice(Mo)Steinman现任曦智科技高级副总裁兼美国区总经理。他拥有40年半导体行业从业经验,曾先后任职于Digital、Compaq、HP和Intel,并担任AMD Senior Fellow。作为多次成功主导产品发布和上市的资深专家,Steinman在SoC架构设计、SoC互连技术、内存子系统优化及能源管理领域积累了深厚经验。他毕业于伦斯勒理工学院(RPI),获计算机与系统工程学士学位,并拥有50余项美国专利。