Bet365线路链接

在AI模子范畴，范畴至关进击。

尽管部分AI大家告诫称，握续扩大大言语模子的范畴正在际遇性能收益递减的瓶颈，各大公司仍在络续推出体量更大的AI器具。Meta最新发布的Llama模子领有高达2万亿个参数。

跟着模子范畴的扩大，其智商也在增强，但随之而来的是更高的能耗需乞降更长的运行时间，进而加重了碳排放问题。为了缓解这些问题，业界驱动转向范畴较小、智商相对有限的模子，并尽可能采纳低精度数值来示意模子参数。

可是，还有另一条旅途，有望在保留超大模子高性能的同期，缩小运行时间、降幼稚耗。这一要领的中枢，便是充分愚弄大型AI模子里面大齐存在的零值。

关于好多模子而言，大多数参数——包括权重和激活值——实验上齐是零，或者相等接近于零，透顶不错在不亏欠精度的前提下将其视为零不停。这种特点被称为寥落性。寥落性为省俭磋商资源提供了弘大契机：与其铺张时间和能量对零进行加法或乘法运算，不如径直跳过这些磋商；与其在内存中存储大齐零值，不如只保存非零参数。

缺憾的是，刻下主流硬件（如多核CPU和GPU）并不成自然充分愚弄寥落性。要确凿施展寥落性的上风，盘问东谈主员和工程师需要从头想考并重构通盘设计架构，涵盖硬件、底层固件和应用软件各个层面。

在斯坦福大学的盘问团队中，咱们开发出了（据咱们所知）首款约略高效不停万般寥落和传统使命负载的硬件芯片。在不同使命负载下，能耗省俭幅度互异权贵，但平均而言，咱们的芯片能耗仅为CPU的七十分之一，磋商速率平均晋升至CPU的八倍。为收场这一方针，咱们从底层驱动，对硬件、固件和软件进行了全面的针对寥落性的工程设计。咱们但愿这只是硬件与模子协同发展的起头，最终收场更高能效的AI。

数组与寥落示意

神经会聚过甚输入数据以数字数组的样式示意，这些数组不错是一维（向量）、二维（矩阵）或更高维度（张量）。寥落向量、矩阵或张量中大多数元素为零。寥落进度因情况而异，但当零值占比杰出50%时，就不错从极端针对寥落性的磋商要领中获益。与之相对的是"密集"对象——即零值数目相干于元素总和较少的情况。

寥落性不错自然存在，也不错通过东谈主工方式引入。举例，酬酢会聚图自然便是寥落的。设计一个图，其中每个节点代表一个东谈主，每条边代表一段友谊关系。由于大多数东谈主彼此并不融会，示意所有可能集会关系的矩阵中绝大多数元素齐是零。其他AI应用场景，如图学习和推选模子，一样存在自然的寥落性。

通常情况下，一个4×4的矩阵不管包含些许个零值，在内存中齐会占用16个存储空间。若矩阵是寥落的，即大齐元素为零，则不错更高效地用"纤维树"结构示意：当先是包含非零元素地点行坐标的"纤维"，集会至包含非零元素列坐标的纤维，最终流通到对应的非零值自己。在磋商机内存中存储纤维树时，每条纤维的端点（即"段"）会与坐标和数值一同保存。

除自然存在的寥落性外，还不错通过多种方式在AI模子中主动引入寥落性。两年前，Cerebras的盘问团队解说，不错将大言语模子中多达70%至80%的参数开采为零，而不亏欠任何精度。Cerebras在Meta开源的Llama 7B模子上考据了这一论断，商量想路一样适用于ChatGPT、Claude等其他大言语模子。

寥落磋商的上风

寥落磋商的高效性源于两个基本特点：压缩零值的智商，以及零的特殊数学性质。寥落计合算法和专用硬件齐充分愚弄了这两个中枢想路。

当先，寥落数据不错被压缩，从而以"寥落数据类型"的样式更省俭内存地进行存储。压缩还能在不停大齐数据时臆造数据传输的能耗。以一个包含三个非零元素的4×4矩阵为例：传统方式会将其齐全存储，占用16个内存空间；而压缩为寥落数据类型后，只需保留非零元素，仅占用3个存储空间，相较于蓝本的16个大幅省俭。跟着寥落进度和矩阵范畴的增大，这种省俭效果将更加权贵。

除实验数据值外，压缩数据还需要存储元数据，即非零元素的行诸君置信息。这通常以"纤维树"的方式抒发：列出包含非零元素的行标签，并与对应的列标签络续，进而流通到存储在这些位置的数值。

在内存层面，情况更加复杂：每个非零值的行列标签，以及标记标签数目的"段"信息，齐需要一并存储，以便了了差别元数据和实验数据。

在密集、未压缩的矩阵数据类型中，不错一一或并行探听数值，且其位置可通过浅薄公式径直磋商。但在寥落压缩数据中，探听数值需要先查找行索引坐标，再"曲折"查找列索引坐标，最终才气定位到方针值。由于寥落数据的位置具有立时性，这些曲折查找操作可能极为立时，导致磋商进程依赖于数据自己，并需要动态分派内存探听。

其次，零的两个数学特点使软件和硬件不错大齐跳过磋商：任何数乘以零等于零，因此无需实验实行乘法；任何数加零等于其自己，因此加法也不错径直跳过。

在矩阵-向量乘法这一AI最常见的运算中，除触及两个非零元素的磋商以外，其余磋商均可跳过。畴昔述4×4矩阵与一个四元素向量的乘法为例：在密集磋商中，需要16次乘法和16次加法；而在寥落磋商中，只需不停向量中的非零元素，通过曲折查找定位矩阵中对应的非零元素，仅对这部分进行乘加运算——在示例中，只需实行两次乘法，而非16次。

现存硬件的局限

缺憾的是，当代硬件并不擅长加速寥落磋商。以矩阵-向量乘法为例，在单核CPU中，向量中的每个元素需一一相乘后写入内存，效能低下。因此，实验使用中往往借助支持向量运算的CPU或GPU，将所有元素并行不停，大幅晋升速率。但当矩阵和向量齐极为寥落时，向量化CPU和GPU的大部分算力齐铺张在了与零的乘法运算上，产生大齐无效磋商。

新一代GPU约略对一种特定类型的寥落性——结构化寥落性——进行一定进度的硬件加速。结构化寥落性假定每四个相邻参数中有两个为零。可是，部分模子更相宜非结构化寥落性——即允许纵容参数（权重或激活值）为零并被压缩，不管其位置奈何。GPU不错通过软件方式（如cuSparse库）支持非结构化寥落磋商，但这种支持往往十分有限，GPU硬件愚弄率偏低，大齐算力破钞在独特支出上。

在通过软件进行寥落磋商时，当代CPU未必比GPU更具上风，因为CPU具备更好的纯真性。但CPU在寥落磋商中常受限于曲折查找操作带来的性能瓶颈。CPU通常会笔据预期需求对数据进行"预取"，但关于立时寥落数据，这一机制往往失效，导致CPU不得不铺张时钟周期恭候正确数据加载。

苹果公司率先通过在A14和M1芯片的预取器中支持"指针数组"探听模式，加速了曲折查找速率。尽管预取时候的革命使苹果CPU在寥落磋商方面更具竞争力，但CPU架构仍存在专用寥落磋商架构所不具备的根人道支出，因为CPU需要兼顾通用磋商需求。

其他公司也在开发加速寥落机器学习的硬件，包括Cerebras的晶圆级引擎（Wafer Scale Engine）和Meta的覆按与推理加速器（MTIA）。Cerebras的晶圆级引擎过甚配套寥落编程框架，在大言语模子上收场了高达70%的寥落度，效果不凡。但其硬件和软件决议仅支持权重寥落性，不支持对好多应用至关进击的激活值寥落性。MTIA第二版声称在寥落磋商性能上较初版晋升七倍，但当今公开露馅的寥落性支持信息仅限于矩阵乘法，尚未阴事向量或张量运算。

尽管矩阵乘法占据了大多数当代机器学习模子的主要磋商时间，但为其他运算提供寥落性支持一样至关进击。为幸免在寥落与密集数据类型之间时常切换，所有操作齐应原生支持寥落不停。

Onyx：从底层支持寥落磋商的硬件加速器

针对上述各样折中决议的不及，斯坦福大学团队研发了一款硬件加速器——Onyx，约略从底层充分愚弄寥落性，不管是结构化还黑白结构化寥落性均可支持。Onyx是首款可编程加速器，同期支持寥落和密集磋商，约略对两种模式下的关键操作进行加速。

CPU、粗粒度可重构阵列（CGRA）和现场可编程门阵列（FPGA）代表了效能与纯真性之间的不同衡量。CPU的每个逻辑单位针对特定功能高效设计；FPGA的每个比特均可建立，极具纯真性但效能较低；CGRA则旨在兼顾FPGA的纯真性与CPU的效能。

CGRA由针对特定应用范畴优化的可建立内存和磋商单位组成，要领员不错在高等次上对其里面进行从头建立，使其比FPGA更高效，同期比CPU更纯真。

Onyx基于CGRA架构构建，由纯真可编程的不停单位（PE）模块和内存（MEM）模块组成。内存模块认真存储压缩矩阵和其他数据花式，不停单位模块则径直对压缩矩阵进交运算，摒除所有毋庸要的无效磋商。

Onyx的编译器认真将软件领导诊疗为CGRA建立。当先，输入抒发式（如寥落向量乘法）被转换为抽象内存节点和磋商节点组成的图；编译器将这些抽象节点映射到CGRA的内存模块和不停单位上，并筹办数据传输旅途；最毕生成建立CGRA所需的领导集。

由于Onyx具备可编程性，工程师不错将向量-向量元素乘法、矩阵-向量乘法、矩阵-矩阵乘法等多种AI中枢运算映射到加速器上。

性能评估

咱们采纳"能量蔓延积"（EDP，即能耗与磋商时间的乘积）来评估硬件的效能晋升，该目的详尽反应了速率与能耗之间的衡量关系。

Onyx的能量蔓延积最高可达使用专用寥落库的CPU（12核Intel至强不停器）的565倍。此外，Onyx还可建立为加速惯例密集磋商应用，访佛GPU或TPU的使命方式：当磋商为寥落类型时，Onyx切换至寥落磋商模式；当磋商为密集类型时，则切换至并行加速模式。这一架构为在合并芯片上同期加速寥落与密集磋商迈出了进击一步。

一样值得眷注的是，Onyx开启了算法层面的新想路。寥落加速硬件不仅能晋升AI的性能效能和动力效能，还将激勉盘问东谈主员和工程师探索具有打破性后劲的新式算法。

畴昔预测

咱们的团队已在Onyx基础上入部下手开发下一代芯片。除矩阵乘法外，机器学习模子还触及非线性层、归一化、Softmax函数等多种运算。咱们正在为下一代加速器过甚编译器添加对齐全磋商类型的支持。由于寥落机器学习模子可能同期包含寥落层和密集层，咱们也在盘问奈何更高效地将密集与寥落加速架构集成于合并芯片，以收场不同数据类型之间的快速诊疗。此外，咱们还在探索通过更灵验地拆分寥落数据来打破内存遗弃，从而在多个寥落加速芯片上协同运行磋商任务。

与此同期，咱们正在研发约略预测寥落加速器性能的系统，以辅助更优硬件的设计使命。从长期来看，咱们但愿不雅察高度寥落性是否会在更多模子类型中得回普及，以及寥落加速器是否会在更大范畴上得回应用。

为非结构化寥落性构建硬件、充分愚弄零值的后劲，只是是个驱动。有了这么的硬件，AI盘问东谈主员和工程师将有契机探索以全新、富余创意的方式愚弄寥落性的模子与算法。咱们礼服，这是应答AI络续增长的运行时间、资本和环境影响的关键盘问方针。

Q&A

Q1：什么是寥落磋商？它对AI有什么敬爱？

A：寥落磋商是一种愚弄AI模子中大齐参数为零这一特点来跳过无效运算、压缩存储的磋商方式。由于模子中70%以上的参数可能为零或接近零，寥落磋商不错径直跳过与零商量的乘法和加法，从而权贵降幼稚耗、加速运算速率，在不葬送模子精度的前提下晋升举座效能。

Q2：现存的GPU和CPU为什么不成很好地支持寥落磋商？

A：GPU主要支持一种叫作念"结构化寥落性"的特定模式，对更纯确切非结构化寥落性支持有限，导致大齐算力被铺张在无效的零值运算上。CPU自然更纯真，但在寥落磋商中常受限于立时内存探听导致的预取失败问题，一样存在效能瓶颈。两者齐短缺从底层针对寥落磋商极端设计的架构支持。

Q3：Onyx芯片比拟普通CPU能晋升些许性能？

A：Onyx在能量蔓延积（速率与能耗的详尽目的）上，最高可达12核Intel至强CPU的565倍。平均而言，Onyx的能耗仅为CPU的七十分之一，磋商速率则平均晋升至CPU的八倍。Onyx同期支持寥落和密集磋商，约略笔据任务类型自动切换磋商模式，是当今已知首款兼顾两种磋商模式的可编程加速器。