NVIDIA Blackwell白皮书：NVIDIA Blackwell Architecture Technical Brief

NVIDIA Blackwell 架构为生成式 AI 和加速计算带来的突破性进步。Blackwell 基于多代** NVIDIA 技术构建，以出众的性能、效率和规模揭开了生成式 AI 领域的新篇章。

NVIDIA Blackwell Architecture Technical Brief免费下载
*附件：NVIDIA Blackwell Architecture Technical Brief.doc

新型 AI 超级芯片

Blackwell 架构 GPU 具有 2080 亿个晶体管，采用专门定制的台积电 4NP 工艺制造。所有 Blackwell 产品均采用双倍光刻极限尺寸的裸片，通过 10 TB/s 的片间互联技术连接成一块统一的 GPU。

第二代 Transformer 引擎

第二代 Transformer 引擎将定制的 Blackwell Tensor Core技术与 NVIDIA? TensorRT? -LLM 和 NeMo? 框架创新相结合，加速大语言模型 (LLM) 和专家混合模型 (MoE) 的推理和训练。

为了强效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社区定义的微缩放格式)，可提供较高的准确性并轻松替换更大的精度。Blackwell Transformer 引擎利用称为微张量缩放的细粒度缩放技术，优化性能和准确性，支持 4 位浮点 (FP4) AI。这将内存可以支持的新一代模型的性能和大小翻倍，同时保持高精度。

安全 AI

Blackwell 内置 NVIDIA 机密计算技术，可通过基于硬件的强大安全性保护敏感数据和 AI 模型，使其免遭未经授权的访问。Blackwell 是业内首款具备可信执行环境 (TEE) I/O 功能的 GPU，它不仅能够与具备 TEE-I/O 功能的主机一同提供性能卓越的机密计算解决方案，还能通过 NVIDIA? NVLink? 技术提供实时保护。与未加密模式相比， Blackwell 机密计算功能供了几乎相同的吞吐量性能。现在，除了保护 AI 知识产权 (IP) 和安全地实现机密 AI 训练、推理和联邦学习，企业甚至还能以高性能的方式保护最大的模型。

NVLink、NVSwitch 和 NVLink Switch 系统

是否能释放百亿亿级计算和万亿参数 AI 模型的全部潜力取决于服务器集群中每个 GPU 之间能否快速、顺畅的通信。第五代 NVIDIA? NVLink? 可扩展至 576 个 GPU，为万亿和数万亿参数 AI 模型释放加速性能。

NVIDIA NVLink 交换机芯片可在一个有 72 个 GPU 的 NVLink 域 (NVL72) 中实现 130TB/s 的 GPU 带宽，并通过 NVIDIA SHARP? 技术对 FP8 的支持实现 4 倍于原来的带宽效率。NVIDIA NVLink 交换机芯片能以惊人的 1.8TB/s 互连速度为多服务器集群提供支持。采用 NVLink 的多服务器集群可以在计算量增加的情况下同步扩展 GPU 通信，因此 NVL72 可支持的 GPU 吞吐量是单个 8 卡 GPU 系统的 9 倍。

解压缩引擎

过去，数据分析和数据库工作流依赖 CPU 进行计算。加速数据科学可以显着提高端到端分析性能，加速价值创造，同时降低成本。Apache Spark 等数据库在接手、处理和分析大量数据等数据分析工作上发挥着关键作用。

Blackwell 拥有的解压缩引擎以及通过 900GB/s 双向带宽的高速链路访问 NVIDIA Grace? CPU 中大量内存的能力，可加速整个数据库查询工作流，从而在数据分析和数据科学方面实现更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新压缩格式。

可靠性、可用性和可服务性 (RAS) 引擎

Blackwell 通过专用的可靠性、可用性和可服务性 (RAS) 引擎增加了智能恢复能力，以识别早期可能发生的潜在故障，从而更大限度地减少停机时间。NVIDIA AI 驱动的预测管理功能持续监控硬件和软件中数千个数据点的整体运行状况，以预测和拦截停机时间和低效的来源。这建立了智能可靠性技术，节省时间、能源和计算成本。

NVIDIA 的 RAS 引擎提供深入的诊断信息，可以识别关注领域并制定维护计划。RAS 引擎通过快速定位问题来源缩短周转时间，并通过促进有效的补救最大限度地减少停机时间。