是什么
Transformer 是 2017 年由一篇题为《Attention Is All You Need》的论文提出的神经网络架构。它的核心是「自注意力」（self-attention）机制，让模型在处理一段序列时，能够同时衡量每个位置与其他所有位置的关联程度。相比之前的循环网络，这种结构更易于并行计算，也更擅长捕捉长距离依赖。
为什么重要
Transformer 的可并行特性让它能充分利用 GPU 的算力，从而支撑起参数规模不断扩大的模型训练。如今几乎所有主流大语言模型都建立在这一架构之上，它也被推广到图像、音频、蛋白质结构等多种领域。可以说，Transformer 是引发本轮大模型浪潮的关键技术起点之一。
2026 年的最新进展
2026 年 2 月开源的 Qwen3.5-397B-A17B 的 60 层，按「3 层 Gated DeltaNet 线性注意力 + 1 层门控全注意力」交替堆叠，只有四分之一的层是全注意力。NVIDIA 走得更彻底——2026 年 4 月的 Nemotron 3 Super 与 6 月的 Nemotron 3 Ultra（5500 亿总参数、550 亿激活）都是 Mamba 层与注意力层混合的专家模型，Ultra 上下文扩到 100 万 token。动机是长序列成本：全注意力的计算量随序列长度平方增长、线性层近似线性，所以 2026 年的主流架构仍叫 Transformer，只是自注意力被「稀释」成每隔几层才保留一层。
在 AI 产业链中的位置
Transformer 位于 AI 产业链的模型层，是这一层的底层技术范式。它的可并行特性，正是芯片层 GPU 算力得以高效转化为模型能力的桥梁；而它催生的强大模型，又为上方应用层的各类产品提供了通用能力底座。可以说，它把芯片的算力优势顺畅地传导到了模型与应用。