ADK.wang AI & 软件技术百科

Transformer 解码器是大语言模型中负责生成序列输出的核心组件，通过自注意力机制与缓存机制，实现从上下文到下一个预测 token 的逐步推理过程。

注意力机制是一种通过动态计算输入序列中各元素间权重关系，将模型关注点聚焦于关键信息以增强上下文理解能力的深度学习核心模块。

Unigram 语言模型是一种基于单词独立概率统计的早期自然语言处理技术，通过计算单个词元在给定上下文下的出现概率来预测文本序列，是构建现代大语言模型的基石与简化原型。

Layer Normalization 是一种针对神经网络层内数据分布进行标准化处理的归一化技术，通过消除批次间差异提升训练稳定性，是现代深度学习架构的核心组件。

在信息安全与密码学领域，'局部'指代对加密算法中特定子结构或密钥片段进行独立分析与攻击的技术策略，旨在通过局部信息泄露推导全局密钥。

文本是人工智能与大模型中承载语义信息的结构化符号序列，作为大语言模型的核心输入与输出载体，其本质是从离散字符到高层语义理解的桥梁。

前馈神经网络是一种信号仅沿输入层向输出层单向传播、无循环反馈的人工神经网络架构，通过多层非线性变换实现复杂函数的逼近与模式识别。

软提示（Soft Prompts）是一种通过向大语言模型注入少量可训练的低维向量参数，以微调模型行为、提升特定任务表现的技术方法，属于参数高效微调（PEFT）的核心范式。

Trained Transformer 指经过预训练并微调的 Transformer 模型架构，作为大语言模型的核心基座，具备强大的语义理解与生成能力，是现代 AI 系统的通用智能引擎。

Transformer 是一种基于自注意力机制的深度学习架构，通过并行计算高效处理序列数据，彻底改变了自然语言处理及通用人工智能大模型的构建范式。

北京智源人工智能研究院是由科技部与北京市共建的新型研发机构，致力于通过目标导向与自由探索相结合的模式，推动人工智能基础理论创新与系统级工程落地。

Attention 是 Transformer 架构中的核心机制，通过计算输入序列中各位置元素之间的加权相关性，实现并行化的高效特征交互与上下文建模。

Transformer 是一种基于自注意力机制的深度学习架构，通过并行计算与位置编码实现序列数据的长距离依赖建模，已成为现代大语言模型及多模态系统的核心引擎。

位置编码器是 Transformer 架构中用于将序列中元素的索引位置映射为向量，使模型能够感知数据顺序的关键组件，解决了纯自注意力机制无法处理序列顺序的缺陷。

图像编码器（Vision Transformer, ViT）是一种将图像分割为固定大小图块并输入Transformer架构的深度学习模型，通过自注意力机制实现端到端的视觉特征提取，是计算机视觉领域从CNN向Transformer范式转型的核心基石。

Graph 是人工智能与大模型训练中的算子组合技术，通过图结构将底层算子（如微分、梯度算子）抽象为有向无环图，实现大规模计算任务的高效调度、动态优化与并行执行。

Regressive Transformers 是一种基于自回归机制的生成式大模型架构，通过逐步预测序列中的下一个 token 来构建输出，是主流语言模型与代码生成引擎的核心技术范式。

Sentence Transformers 是一种基于预训练语言模型（如 BERT）的深度学习框架，通过优化句子嵌入空间，将自然语言句子映射为高维向量，实现语义相似度计算与文本检索任务。

Trained Transformers 指经过大规模预训练任务（如自监督学习）并微调以适应特定下游任务的大语言模型架构，是连接通用基础模型与垂直领域应用的关键桥梁。

前馈网络是一种信号仅沿输入层向输出层单向传播的神经网络架构，通过多层非线性变换实现复杂模式识别，是构建深度神经网络与Transformer等现代大模型的基础核心组件。

双向编码器表示（Bidirectional Encoder Representations from Transformers, BERT）是一种基于 Transformer 架构的预训练语言模型，通过自注意力机制实现上下文感知的双向编码，显著提升了自然语言理解与生成的任务表现。

嵌入适配器（Adapter）是大型语言模型微调中的轻量级模块，通过冻结预训练模型参数并插入小型神经网络层，以极低成本实现特定任务的快速适配与零样本迁移。

Ascend Transformer Boost 是华为昇腾生态专为大模型推理场景设计的专用加速库，通过融合算子融合、算子融合与动态批处理等核心技术，显著提升 Transformer 架构在昇腾硬件上的推理吞吐与能效比。

TokenMixer 是 Transformer 架构中的核心计算模块，通过线性变换将离散 token 序列映射为连续向量表示，实现并行化的高效序列建模。