率失真优化量化 (RDOQ)

率失真优化量化（Rate-Distortion Optimized Quantization）是信号处理与机器学习交叉领域的核心算法，旨在解决信息压缩中的根本矛盾：如何在有限的比特预算下，将数据重建为最接近原始形态的状态。该技术在深度神经网络（DNN）剪枝、模型蒸馏及大模型推理加速中扮演关键角色，其本质是在给定的失真度量（如均方误差）约束下，最小化编码率，或在固定编码率下最小化失真，从而构建出高保真且低开销的模型表示。

在现代计算架构中，率失真优化量化是连接模型精度与部署效率的桥梁。随着大模型参数量级的爆炸式增长，存储与传输成本成为瓶颈，该技术通过智能地分配量化步长（Coarse-to-Fine Quantization），在关键层保留高精度而牺牲次要层，显著降低了模型体积。它不仅适用于静态模型压缩，更在动态推理场景中，根据输入数据的分布特性实时调整量化策略，实现了从‘一刀切’量化向‘自适应’量化的范式转变，是构建轻量化、边缘侧可运行大模型的关键使能技术。