Arm神经超级采样 以ML进一步强化性能 实现卓越的移动端图形性能

作者：Arm 战略与生态部主任工程师 Sergio Alapont

为满足用户对于手游体验的期望，例如更清晰的画面、更流畅的游戏体验，以及更长的电池续航时间，全球手游开发者正面对着日益激增的压力。在受限的移动设备上平衡这些目标体验，往往需要权衡取舍。传统的优化升级方法不够灵活，而实时人工智能 (AI) 渲染则又依然存在复杂、耗电或依赖硬件性能等难题。

Arm 神经超级采样 (Arm Neural Super Sampling, Arm NSS) 能够直接应对上述挑战。作为 Arm 在本周举行的 SIGGRAPH 上宣布的图形技术的首个用例，这是一项由 AI 驱动的新一代优化升级解决方案。

Arm NSS 将桌面级别的视觉效果引入手游，依托专用神经加速器，并将通过 Arm 神经技术集成到未来推出的 Arm GPU 中。这标志着移动端图形技术的重要创新，实现了实时超级分辨率，将时域一致性与感知质量相结合，带来远胜于传统技术的卓越表现。

搭载这项技术的设备预计将于 2026 年底上市，而开发者即刻起就可通过 Arm 神经图形开发套件着手探索 Arm NSS。该套件包含虚幻引擎 (Unreal Engine) 插件和 Vulkan 模拟层，使开发者能够体验神经优化升级工作流、游戏集成原型设计，并为面向 Vulkan 机器学习 (ML) 的渲染管线做好准备，而无需等待兼容硬件的面世。

通过神经性能实现实时优化升级

传统优化升级技术依赖人工设计的启发式方法或有限的空域数据，Arm NSS 通过神经推理，以更高的保真度还原细节、运动状态和光照变化。

Arm NSS 在典型的管线中包含三个步骤：

预处理：将输入数据（颜色、运动向量、深度）整理为张量格式；

神经推理：通过使用 Vulkan ML 扩展在神经加速器上运行；

后处理：利用模型输出重建最终图像。

这使得 Arm NSS 能够逐步扩展性能，利用更少的资源处理较高的分辨率，非常适合应用在硬件受限的移动设备上。

以 Arm ASR 为基石，以 ML 进一步强化性能

Arm NSS 专为在搭载 Arm 神经技术的未来移动设备上实现实时性能而设计，但其具体的延迟表现还取决于 GPU 的配置、分辨率和用例等实现因素。在 Arm 的“魔法城堡”演示中，通过使用 Arm NSS，GPU 工作负载可降低 50%，且在持续性能的设定下，当模型以 540p 分辨率渲染时，能在四毫秒就可优化升级至 1080p。

开发者如果想深入了解模型性能与画质对比，请在技术白皮书中查阅细节。

白皮书：https://developer.arm.com/documentation/111019

Arm NSS 是基于Arm 精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR)的成果而构建，Arm ASR 是一款面向移动设备，实现时域优化升级的开源解决方案。而 Arm NSS 是针对搭载神经加速器的移动设备，旨在为开发者提供先进的神经优化升级解决方案，因此，对于不具备此类能力的移动设备，Arm ASR 仍然是经高度优化的可选方案。

据 Arm 内部测试结果显示，Arm NSS 已经接近 NVIDIA DLSS2 级别的画质精度，但所使用的模型更小，且针对移动设备进行了优化。团队对 Arm ASR、DLSS2 以及 AMD 的超级分辨率锐画技术 2 (FSR2) 进行了对比测试，收集了包括峰值信噪比 (PSNR)、结构相似性指数 (SSIM)、空域-时域降参考熵差 (STRRED) 等多项指标，结果验证了 Arm NSS 的高水平表现。

Arm ASR 与 Arm NSS：你需要了解的要点

即刻体验 Arm NSS

当一项新技术落地时，开发者需要一个可以实验和探索其创造力的环境。这正是 Arm 推出神经图形开发套件的原因，该套件为开发者提供了一切所需，包括工具、示例代码和资源，以便开发者着手实验、测试并为下一波移动端图形技术做好准备。其中还包括：

Vulkan ML 模拟层

虚幻引擎 5 插件

通过 Hugging Face 和 GitHub 提供的预训练开源模型

全面的技术文档和 Learning Path 帮助团队入门

Arm 神经图形开发套件还提供了对面向 Vulkan 的 ML 扩展（VK_ARM_tensors 和 VK_ARM_data_graph）的早期访问。这些扩展使得开发者能够使用张量资源并将推理管线直接构建到渲染图中。这种集成有助于满足实时应用在移动设备上所需的延迟和效率目标。

这些资源能让游戏开发者在首批硬件面世前便能着手集成神经图形技术。团队可以使用能反映新一代 Arm GPU 架构的桌面环境来对 Arm NSS 进行原型设计或探索新的用例。该开发套件能够在硬件面世之前实现深度集成和性能测试。

在虚幻引擎中集成和测试

虚幻引擎 5 插件实现了将 Arm NSS 集成到虚幻引擎中，使开发者能够快速将优化升级技术增加到他们的项目中，并预览在新一代移动设备上运行的游戏效果。该插件还与虚幻引擎的神经网络引擎 (Neural Network Engine, NNE) 框架结合，用于管理 ML 资源并与渲染图同步调度推理任务。

这些功能使得开发者能够以最小的开销，将神经优化升级技术直接集成到现有的渲染流程中，进而有助于在 AI 后处理过程中保持帧时和实时响应性。

值得注意的是，虚幻引擎 5 插件中运行的 ML 推理使用的是软件模拟。其性能并不能完全反映实际芯片上的预期表现。该插件的主要目标是支持实验和集成。

虚幻引擎 5 插件：

https://github.com/arm/neural-graphics-for-unreal

Vulkan ML 模拟层

搭载 Arm 神经技术的新一代 Arm GPU 驱动的 2026 年移动设备将能原生支持 Vulkan ML 扩展。为了做好准备，我们需找到一种方式，让利用这些扩展技术编写代码的开发者得以运用这些新功能。

这正是 Arm 提供 Vulkan ML 模拟层的缘由，它显示了所需扩展的软件模拟。开发者可以启用模拟层并使用扩展 Vulkan 头文件来运行使用了 Vulkan ML 扩展的内容。NNERuntimeRDGVulkanML 就是很好的一个例证，它可通过虚幻引擎 5 插件来使用，并且它通过使用 Vulkan ML 扩展的原生后端，扩展了 NNE 框架。

Vulkan ML 扩展：

https://github.com/arm/ml-extensions-for-vulkan-unreal-plugin

开启移动端神经图形技术新时代

Arm NSS 是首批专为手游打造的神经图形解决方案之一，结合了高质量的优化升级技术和开发者就绪的软件开发套件。它通过开放、开发者就绪的基础设施，实现了高质量的图像表现、低延迟和高能效。通过 Arm NSS，Arm 不仅提供了神经优化升级技术，还赋予了开发者如何使用这项技术的能力。

Arm 神经图形开发套件为开发者提供了工具和能力，使他们能够针对自己独特的内容和艺术构想，适配和优化 Arm NSS，进而确保开发者为 2026 年首批基于搭载 Arm 神经技术的 Arm GPU 而构建的移动设备的上市做好准备。

即刻开始实验、测试并为下一波移动端图形技术做好准备。欢迎访问 Arm 开发者中心的 Arm NSS 页面，探索 Arm 神经图形开发套件，并尝试预训练模型。工具已就绪，快来探索未来吧！

Arm 开发者中心的 Arm NSS 页面：

https://developer.arm.com/mobile-graphics-and-gaming/neural-graphics