交替方向乘法器 (ADMM)

交替方向乘法器（Alternating Direction Multiplexer, ADM）并非传统意义上的乘法器，而是指在大模型推理场景中，针对稀疏矩阵运算进行的一种高效硬件或软件调度策略。其核心在于利用大模型激活稀疏的特性，通过交替处理行与列的稀疏向量，避免全矩阵计算带来的冗余。该技术旨在解决大模型推理中显存带宽受限与计算资源浪费的矛盾，通过动态路由与稀疏掩码管理，实现计算单元的高效利用，是连接稀疏算法与硬件加速的关键桥梁。

在现代计算架构中，交替方向乘法器扮演着提升大模型推理效率与成本效益的关键角色。随着大模型参数量激增，传统稠密矩阵乘法已难以满足实时性与能效要求。ADM 技术通过引入稀疏计算逻辑，使得模型能够在保持推理质量的同时，大幅降低对 GPU 显存带宽的依赖。它不仅适用于边缘计算设备，也广泛应用于云端推理服务，是构建绿色、高效大模型基础设施的核心组件之一，推动了 AI 从云端向端侧部署的进程。