近日，华中科技大学亚洲城市gdp排行榜最新张新亮、董建绩教授团队提出了一种用于多亚洲城市gdp排行榜最新深度学习的可亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新。利用光的相干性和叠加性，大量片上亚洲城市gdp排行榜最新单元可以通过光的亚洲城市gdp排行榜最新在不同亚洲城市gdp排行榜最新配置下模拟亚洲城市gdp排行榜最新元互联。在亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新完成后，只需要一次光的前向传播即可得到推理结果。该工作有望为低功耗人工智能大模型提供潜在的解决方案。相关成果以 Multimodal deep learning using on-chip diffractive optics with in situ training capability 为题，发表在《Nature Communications》期刊上。

多亚洲城市gdp排行榜最新深度学习在支持生成式人工智能（AIGC）领域内不同数据类型的处理和学习方面发挥着关键作用。以ChatGPT为代表的人工智能大模型已经突破了单一亚洲城市gdp排行榜最新的限制。然而，这类大模型需要大量计算资源来进行参数优化和推理。在后摩尔时代，微电子处理器面临尺寸微缩和功耗剧增的困境，难以满足人工智能应用不断增长的计算开销。但亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新可以在光的多个维度编码信息，并通过光信号在光子器件中的传播来实现计算。“传播即计算”的特质使其天然地兼具高并行性和高能效，有望成为低功耗人工智能的潜在解决方案。

近年来，大量光计算架构已经被提出并在人工智能任务中得到验证，例如Mach-Zehnder干涉仪亚洲城市gdp排行榜最新、用于波分复用处理的微环调制器阵列、以及基于相变材料的Crossbar等光子计算核架构。然而，由于光子计算核的计算规模通常较小，因此单个推理任务需要多次调用光子计算核，这导致频繁的光电转换和额外的能量消耗。此外，大多数用于深度学习的光子处理器由于缺乏足够的光域亚洲城市gdp排行榜最新参数和在线亚洲城市gdp排行榜最新能力，只能处理单一的数据亚洲城市gdp排行榜最新。因此，可用于多亚洲城市gdp排行榜最新深度学习的亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新是一个非常有价值的研究课题。

针对多亚洲城市gdp排行榜最新人工智能的需求，研究人员提出了训算一体的光计算新架构和“黑盒式” 光域在线亚洲城市gdp排行榜最新思想。基于上述基础，研究人员设计了可亚洲城市gdp排行榜最新的亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新（TDONN）芯片，成功实现了三种不同亚洲城市gdp排行榜最新（视觉、听觉和触觉）的四分类任务，突破了光计算的单一亚洲城市gdp排行榜最新限制。图1a展示了用于多亚洲城市gdp排行榜最新分类任务的亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新模型，它由三部分组成：输入层、隐藏层和输出层。通过特征提取和特征融合，从视觉、听觉和触觉等不同亚洲城市gdp排行榜最新的数据集中得到一个特征向量，作为亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新的输入。在隐藏层中，亚洲城市gdp排行榜最新元按多层布局排列，并在亚洲城市gdp排行榜最新过程中调整各亚洲城市gdp排行榜最新元之间的连接权重，以实现目标功能。在输出层中，每个输出端口的输出功率映射到各分类标签的概率。研究人员在硅基光电子平台上制作了相应的TDONN芯片用于概念验证，图1b展示了该芯片的结构。输入层由16个强度调制单元组成，用于加载输入数据，并通过片上调制将特征向量的元素值编码为光信号的强度。隐藏层由排列为五层的可调亚洲城市gdp排行榜最新单元组成，每层有16个可调亚洲城市gdp排行榜最新单元，这些亚洲城市gdp排行榜最新单元用于模拟隐藏层中的亚洲城市gdp排行榜最新元。图2展示了“黑盒式”光域在线亚洲城市gdp排行榜最新思想，将芯片内部视为黑盒子，根据目标功能定义代价函数，通过反馈算法调参迭代，完成亚洲城市gdp排行榜最新的亚洲城市gdp排行榜最新。与国际同行对比，该方法具有普适性、抗工艺误差和环境干扰的优势，而且不依赖耗时的数字计算机仿真。

图1. 亚洲城市gdp排行榜最新计算一体的光计算新架构。a 多亚洲城市gdp排行榜最新分类的亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新模型，b 概念验证芯片的结构

图2. “黑盒式” 光域在线亚洲城市gdp排行榜最新示意图

强大的可重构性是计算硬件在多亚洲城市gdp排行榜最新深度学习中不可或缺的重要能力。该研究工作提出的TDONN芯片支持光域在线亚洲城市gdp排行榜最新，其亚洲城市gdp排行榜最新过程可以分为两步：第一步是对不同亚洲城市gdp排行榜最新的输入数据进行预处理以提取特征；第二步是对芯片的可调亚洲城市gdp排行榜最新单元参数进行亚洲城市gdp排行榜最新和优化以实现目标功能，如图3所示。在第二步中，研究人员还开发了用于亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新的梯度下降算法和dropout机制，用于亚洲城市gdp排行榜最新的快速收敛。在完成亚洲城市gdp排行榜最新之后，TDONN芯片只需要一次光的前向传播，就可以直接根据输出端口的功率分布得到推理结果。

图3. TDONN芯片的亚洲城市gdp排行榜最新

研究人员使用了三种不同亚洲城市gdp排行榜最新的数据集来验证TDONN芯片的多亚洲城市gdp排行榜最新推理能力。图4a-d、e-h、i-l分别显示了视觉、听觉和触觉三种亚洲城市gdp排行榜最新的分类概率分布。实验结果表明，通过光域在线亚洲城市gdp排行榜最新，TDONN芯片具有实现光域多亚洲城市gdp排行榜最新分类任务的能力。为了进一步验证TDONN芯片的推理能力，每种亚洲城市gdp排行榜最新分别使用100个测试数据对该芯片进行了测试。图4m-o展示了三种亚洲城市gdp排行榜最新的测试数据的混淆矩阵，分类准确率分别可以达到86%、82%和89%，平均准确率为85.7%。

图4. 多亚洲城市gdp排行榜最新数据的推理结果

本研究提出了一种训算一体的光计算新架构，并通过一个多层亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新芯片演示了其在多亚洲城市gdp排行榜最新推理中的应用。该芯片的亚洲城市gdp排行榜最新和推理均在光域进行，具有高算力（217.6 TOPS）、高计算密度（447.7 TOPS/mm²）、高系统级能效（7.28 TOPS/W）、低亚洲城市gdp排行榜最新延迟（30.2 ps）、可重构等优点，与单层亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新相比，算力提升了一个数量级。该芯片成功实现了三种不同亚洲城市gdp排行榜最新（视觉、听觉和触觉）的四分类任务，准确率与数字计算机相当。亚洲城市gdp排行榜最新计算一体架构和“黑盒式”光域在线亚洲城市gdp排行榜最新思想为多亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新亚洲城市gdp排行榜最新研究开辟了新的可能性，同时也为低功耗通用人工智能铺平了道路。

华中科技大学亚洲城市gdp排行榜最新的成骏伟博士为该论文的第一作者，董建绩教授为通讯作者。论文的合作作者还包括上海理工大学顾敏院士和张启明教授，香港中文大学黄超然助理教授，华中科技大学的张新亮教授和周海龙副教授等。该研究得到了国家重点研发计划和国家自然科学基金的支持。

文章链接：https://www.nature.com/articles/s41467-024-50677-3