什么是HI-CPU

芯片的异构集成 (HI) 对于实现高系统吞吐量（每秒万亿次操作或 TOPS）和能源效率（TOPS/W）以满足不断增长的计算需求至关重要。通过将片上系统 (SoC) 拆分为多个Chiplet并将它们集成到单个封装中，可以显著提高系统的设计灵活性、功能性、带宽、吞吐量和延迟。这可以通过横向、垂直甚至双向拉近Chiplet来实现，从而允许在单个封装中集成更多内存或逻辑。此外，减小die的尺寸并在封装前执行已知良好芯片 (KGD：known good die) 测试可以实现对芯片性能的更高水平的控制，从而提高良率并降低总体成本。

HI 是实现专用于训练大型生成式 AI 模型的高性能系统的潜在解决方案。通过将高带宽内存 (HBM)、中央处理器 (CPU) 和图形处理单元 (GPU) 等芯片集成到一个封装中，吞吐量、延迟和能效得到显著提高，并克服了传统 2D 单片芯片设计的局限性。

如今，Nvidia、Intel 和 AMD 等半导体公司已在自己的产品中利用 HI 技术来运行实时生成式 AI 模型并训练具有数十亿个参数的 LLM（大型语言模型）。在这篇评论中，我们首先介绍当前和新兴的 HI 技术，并讨论它们的优势和当前的局限性。然后，我们调查了 Cerebras、Nvidia、AMD、Intel 和 Tesla 等半导体公司最近为高计算 AI 工作负载设计的 HI 架构的商业部署。