软提示

软提示（Soft Prompts）是参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术中的一种关键范式，其核心思想是在预训练大语言模型（LLM）的输入层或特定层中注入少量可训练的连续向量参数（即“软提示”），替代传统的全量微调。与硬提示（Hard Prompts，即固定文本提示）不同，软提示允许模型在训练过程中学习最优的向量表示，从而更有效地捕捉任务特有的语义特征。该技术由刘逸（Ouyang et al.）等人提出，旨在解决大模型参数量巨大导致的全量微调计算资源消耗过高、过拟合风险大等问题，成为当前大模型领域实现低成本、高效率任务适配的主流方案之一。

在现代计算架构中，软提示技术扮演着连接通用大模型与垂直领域应用的桥梁角色。随着大模型参数量持续膨胀，全量微调已难以在消费级硬件上普及，软提示凭借其极低的训练成本（仅需微调少量参数）和优异的迁移能力，成为构建行业专用模型的首选路径。它不仅显著降低了算力门槛，还通过保持预训练模型的通用知识，有效缓解了灾难性遗忘问题。在生态层面，软提示与LoRA、Prefix Tuning等技术共同构成了PEFT技术栈，推动了大模型从“通用底座”向“按需定制”的架构演进，是构建低成本、高敏捷度AI应用的关键基础设施。