AI热潮长期以来由标准化硬件驱动，包括强大的GPU、通用CPU以及尽可能多的HBM和DRAM。然而，近期的一系列事件——AMD收购Taalas、Etched完成7亿美元融资，以及前沿AI实验室自研芯片——表明定制硬件在AI未来中的角色可能比最初想象的更为重要。

硬件设计中始终存在性能与灵活性之间的权衡，且这种权衡可能长期存在。例如，通用CPU能运行各种工作负载且效率尚可，但若要并行处理数学或图形密集型任务，则更专业的芯片（如GPU）更为合适。即便在GPU内部，芯片制造商也会针对其运行的工作负载类型做出决策。AMD认为双精度64位计算对其HPC客户至关重要，因此在其即将推出的Instinct MI430X GPU中加载了大量FP64核心；而英伟达则预见到AI工作负载对4位至32位精度的需求更大，因此其最新数据中心级GPU的设计也基于此。

随着AI焦点从训练转向推理，芯片设计原则再次被颠覆，迫使大型芯片制造商重新思考其既有假设，也推动大型AI实验室和云公司加倍投入自研定制芯片。例如，英伟达在2025年12月转向，斥资200亿美元收购了Groq的资产，后者开发了一款名为语言处理单元（LPU）的高速芯片，该芯片大量使用静态随机存取存储器（SRAM）。在3月的会议上，英伟达发布了Groq 3 LPU，该芯片针对极低延迟的token生成进行了优化，每秒可生成数千个token，同时悄然从其路线图中移除了Rubin CPX。

AMD也采取了类似举措，计划收购Taalas，该交易于两周前宣布。与Groq类似，Taalas的ASIC专为快速生成token而设计。Taalas于2月走出隐身模式，其演示芯片HC1在特定AI模型上每秒可生成16,000个token，比当时最快的芯片快近10倍。但有一个限制：HC1仅支持Meta的Llama 3.1-8B模型。这家总部位于多伦多的芯片制造商通过将Llama 3.1-8B的权重直接硬连线到硅片上实现了这一惊人速度，但这几乎消除了所有可编程性，并迫使Taalas调整硬件以适应新软件或软件变化，从而降低了对市场变化的响应速度。这种灵活性的降低是获得速度的代价。

目前尚不清楚AMD对Taalas芯片的具体规划。该交易条款未披露，且尚未完成。但已知AMD计划将Taalas ASIC与其Epyc CPU和Instinct GPU结合，集成到上月发布的新款Helios机架中。或许AMD能通过利用ROCm.ai中新宣布的AI功能，更轻松地将Taalas整合到其ROCm软件栈中。

与此同时，初创公司Etched也在采取类似方法开发定制硬件。其旗舰芯片Sohu是一款专为运行Transformer模型而设计的ASIC，可运行多种Transformer模型，不像Taalas芯片那样仅限于Llama，但无法运行其他类型的AI模型，如卷积神经网络（CNN）、长短期记忆（LSTM）模型和循环神经网络（RNN）。通过将硬件专用于特定工作负载并剥离所有多余部分，Etched得以从ASIC中获得巨大性能提升。该公司声称，其Sohu芯片在Llama 70B上每秒可生成500,000个token，是八块H100 GPU系统吞吐量的20倍。

Etched今日宣布已筹集7亿美元资金，估值达210亿美元。本轮融资由Jane Street领投，其他投资者参投。Jane Street不仅是投资者，也是客户，已在生产环境中运行Etched集群。Etched表示，其来自公共和私营前沿AI公司及云厂商的订单总额已达10亿美元。

Etched还宣布将进一步向上层堆栈创新。该公司开发了所谓的低电压推理（LVI）技术，通过在AI推理期间降低数学核心的时钟频率来提高集群的整体效率和密度。此外，它还推出了集群规模内存（CSM），这是一种“混合内存子系统，可在整个集群而非单个芯片上创建大规模共享内存池”。

当然，AI堆栈上下仍存在尚未解决的技术挑战。例如，我们仍在等待英伟达开始出货BlueField4 DPU，这是其CMX架构的最后关键组件，该架构旨在解决KV缓存瓶颈。即便拥有最快的处理器，这些挑战也需逐一克服。定制AI芯片的兴起，标志着AI硬件领域正从通用走向专用，这一趋势可能重塑整个AI产业的算力格局。