星澜再进化：NVIDIA AI 助力江南游戏工作室实现数字人实时交互

案例介绍

• 通过全面的 GPU 优化，星澜的端到端响应时间少于 2 秒，实现了近实时交互。

• 在角色的口型表情上，结合 NVIDIA Audio2Face 能力与 TensorRT 框架的性能优化，实现了毫秒级逼真地基于音频的面部 Rig 参数合成

• 训练提速比一般状况下提升了 2-3 倍

客户简介

朝夕光年是一家面向全球用户与开发者的游戏研发与发行公司。通过提供顶级游戏和打造玩家社群，朝夕光年致力于服务全球玩家，为每位玩家带来有趣和激励人心的体验。

朝夕光年江南游戏工作室，成立于 2019 年 2 月。工作室主要聚焦中重度游戏和虚拟偶像研发，面向全球市场。

使用 GPU 实现数字人实时交互

在《星球：重启》游戏中，李星澜是游戏中每位幸存者最好的伙伴。她将是新手玩家的“引导员”，亦是玩家在历险中的“好助手”，更是跌宕剧情中的“女主角”。她也将为了拯救世界，牺牲自己回到 21 世纪。这科幻色彩十足的游戏设定，赋予了李星澜鲜活的人设，让她的“灵魂”得以诞生。

李星澜不仅仅只是简单的游戏 NPC，她更是首位由江南游戏工作室所打造的真·元宇宙虚拟人，不仅在游戏中引导玩家，平时在游戏外，也会不定时在抖音上发布抖音直播、担任代言人、主持人等角色，人气爆棚的她也曾受邀领奖。

李星澜也不是传统意义上的“数字人”（Digital Human)，不仅外形更加仿真，更重要的是，驱动她的内核并非大家所认知的中之人（操纵虚拟主播进行直播的人），而是最新的 NVIDIA AI 技术。

朝夕光年江南游戏工作室提出建构了一个由 NVIDIA GPU 驱动的 AI 系统，包括文本到语音、音频到全身动画、视频分析、渲染和聊天机器人，基于这些不同的应用模块，团队成功构建出一个逼真的实时交互数字人。2023 年 7 月，李星澜甚至与玩家们在抖音平台上成功连线，完成了一场直播，其直播总曝光量共高达 1.5 千万，互动弹幕数量峰值 171 条/分钟，为朝夕光年首次 AI 数字人实时互动直播创造了亮眼佳绩。

从模型搭建、训练、推理到部署，

解密数字人背后 AI 推手

江南游戏工作室与 NVIDIA 团队为数字虚拟人的互动共同设计未来“AI 大脑”——一个可扩展性的 AI 系统。这个系统能通过 NVIDIA Omniverse 平台连接李星澜和后端负责生成聊天文本内容，以及通过聊天文本内容生成动画的深度定制神经网络。换言之，无论是她说话的内容、传递的表情、肢体的动作，都是通过定制开发的神经网络来完成的。

为了加快在创造李星澜中使用的深度学习模型的训练周期，江南游戏工作室使用了 NVIDIA Ampere 架构 GPU 执行部署，并通过由 FasterTransformer 优化的自动语音识别（ASR）模块，可以实时地将语音转录成文本。同时通过部署在 NVIDIA A30 Tensor Core GPU 上的动画生成模块，其使用一系列深度学习模型，可根据语音及文本响应生成逼真的面部表情和身体姿势。除了通过 NVIDIA 硬件的支持，李星澜团队还利用了 FP16 混合精度训练和 Megatron-LM 风格的模型并行方案，在不牺牲收敛质量的情况下，进一步提升训练吞吐量。目前该系统能够在两天内完全训练 Audio2Motion 和 Text2Speech 模型，并在五天内完全训练基于 Transformer 的 Chatbot 模型，超过 10TB 的训练数据。为了快速提升李星澜的能力，所有模型均在 NVIDIA A100 Tensor Core 80GB GPU 上使用 DeepSpeed 训练，实现了高吞吐量的持续学习，助力模型的快速演进。NVIDIA AI 解决方案使李星澜具备了参与自然的实时会话的能力并能够进行逼真的情绪表达。

在推理方面，团队利用了另一部署在 NVIDIA A100 GPU 上的回复生成模块，使用类似 GPT 的自回归结构的大型语言模型（LLM）快速生成自然回复，并通过 FasterTransformer 加速，从而将推理延迟减半，使李星澜能够以高度响应的方式与观众互动。

部署在 NVIDIA A30 GPU 上的文本到语音（TTS）模块，通过 cuBLAS 和 CUTLASS 编写的高性能自定义 kernels 来进行加算，高效的将文本转换成逼真的语音。

通过 NVIDIA GPU 的算力支持，并结合 NVIDIA 团队量身定制的 AI 系统进行优化，江南游戏工作室在几个月时间内就完成了打造高质量虚拟人的端到端迭代。

让 AI 走进生活，

为各行业打造多元的应用场景

凭借其逼真的外观和出色的会话能力，像李星澜这样的数字人为许多行业开辟了新的可能：

• 虚拟助手和聊天机器人：数字人可以在客户服务等场景中作为互动的 AI 助手提供帮助和服务。

• 数字内容创作：逼真的视频动画为电影、电视、AR/VR 内容创作开辟了新的道路，可定制数字角色。

• 医疗保健：数字人可以模拟患者和医生的互动来训练医疗专业人员。

• 教育：数字人可以扮演虚拟导师或老师的角色，提供互动课程。

• 社交联系：对于护理院等隔离群体，数字人可以通过自然对话提供陪伴。

视频 1. 星澜情感交互产品概念-雷鸟合作视频

视频 2. 星澜情感交互产品概念-老人篇

通过江南游戏工作室的 AI 技术演进、NVIDIA 的底层算力支持，以及 NVIDIA Omniverse 平台，我们能够充分利用这些快速发展的前沿技术。随着李星澜的能力不断提升，更多的应用将成为可能，从根本上改变人类与 AI 技术的互动方式。在不久的将来，李星澜将给大家带来更多的惊喜。

江南游戏工作室产品经理肉山（金昱含）表示：“基于 NVIDIA 软硬件的支持，数字人 AI 产品的表现力将不断突破原有上限。我们致力于在超写实数字人和 AI 产品的探索上，不仅能越来越接近用户诉求，也能真正实际应用于各式场景中。”

*本文中的图片与视频均来源于江南游戏工作室，若您有任何疑问或需要使用本文中的图片与视频，请联系江南游戏工作室。

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击“阅读原文”或扫描下方海报二维码，关注更多会议及活动信息。