NVIDIA助力艾氪英诺打造稀疏卷积的最佳部署

基于 NVIDIA 的 GPU 解决方案，艾氪英诺持续拓宽产品在泛交通领域的自动驾驶-车路协同应用场景。

如何完成稀疏卷积的高效推理部署

成为一大挑战

点云检测算法 PointPillars 等衍生算法采用 2D 卷积，可以快速适配主流的算法框架便于落地部署，因而受到业界欢迎。但 Pillar 编码与 2D 卷积结合的方式，并不能充分利用点云空间的三维特征，研究与实践表明，基于 3D 卷积的 Voxel-based 方式则在识别准确率提升方面效果显著，其中稀疏卷积在自动驾驶相关感知算法越来越受到广泛重视。

现阶段业内十分需要面向 NVIDIA 设备成熟的 3D 点云感知压缩算法部署工具，能够将稀疏卷积部署到 NVIDIA GPU 上，在 3D 点云感知算法高精度需求下，满足推理效率指标的工程落地要求。因此，如何利用 TensorRT 深度学习推理引擎的完整工具，完成稀疏卷积的高效推理部署的工程化落地成为一大挑战。

NVIDIA TensorRT 高性能推理库

助力艾氪英诺打造稀疏卷积的最佳部署

艾氪英诺所研发的部署工具 EE-DLVM 基于 TensorRT 开发。TensorRT 通过结合抽象出特定硬件细节的高级 API 和优化推理的实现来达到高吞吐量、低延迟和低设备内存占用。该部署工具兼容主流检测模型同时针对稀疏卷积操作进行了设计与优化，将 TensorRT 在 NVIDIA GPU 上加速效果与稀疏卷积算子本身的优异效果相结合。

艾氪英诺 EE-DLVM 部署工具通过在稀疏卷积相关算子的实践，在 3D 点云基于 Voxel 感知算法模型部署上取得三点突破：

（1）针对稀疏卷积的相关模型而设计的 Graph Trace 程序，可以跟踪数据流向，然后转化为 Graph 并成功导出 ONNX。

（2）前处理模块使用了稀疏卷积，在 EE-DLVM 部署工具优化下有高达 20 倍左右加速效果。

（3）将模型准确高效地部署到 NVIDIA GPU 上，如 Xavier NX 和 AGX Orin 上。

借力 NVIDIA 技术，艾氪英诺在自动驾驶-车路协同领域持续深耕创新

基于城市与高速等多种智慧交通场景，以及路侧与车端的感知任务体系中，基于激光雷达的 3D 物体检测是重要的感知信号来源，也是车路协同感知系统的核心之一，因此需要充分地考虑算法实时性和准确性的平衡。TensorRT 作为 NVIDIA 的深度学习推理引擎，可以为艾氪英诺相关自动驾驶算法应用提供低延迟、高吞吐率的部署推理。模型获得 TensorFlow、PyTorch、Caffe 等主流训练框架支持，在模型优化与编译过程中，已经支持混合精度、PTQ 和 QAT 量化训练，是在行业应用中最为普及的加速框架，适用于算法模型部署于嵌入端、云端以及汽车硬件平台上运行。

——艾氪英诺联合创始人 陈朋鑫博士

艾氪英诺的 EE-DLVM 部署工具，将稀疏卷积成功结合到 NVIDIA TensorRT 加速框架中。产品基于稀疏卷积强大的性能，在众多交通场景的算法部署中，得到广泛应用和迭代。产品采用 NVIDIA 系列的硬件平台，在兼顾了数据长度可变的点云数据特性同时可利用 TensorRT 的结构化加速特性，成功实现了 3D 点云细粒度结构化稀疏在自动驾驶场景中的应用。同时，为了构建高效、透明、安全的车路协同感知网络体系，与 NVIDIA 初创加速计划共享生态合作成果，在后续的产品规划中，将会逐步开源产品的所有源代码，其中也会包括稀疏卷积组件部分。

——艾氪英诺技术副总 叶溯

通过 NVIDIA 初创加速计划，艾氪英诺利用会员专享的 NVIDIA 深度学习培训中心（DLI）免费课程机会，结合 NVIDIA 初创加速计划提供的 NVIDIA 技术与专家资源，对 EE-DLVM 部署工具进行深入的技术沟通与产品打磨。同时借助今年 8 月举办的 NVIDIA 初创企业展示华东站路演活动，亦得以将产品快速推广给潜在用户。在 NVIDIA 提供的 GPU 解决方案基石上，结合艾氪英诺在行业与技术上的认知，使得我们在自动驾驶-车路协同领域能够持续不断地深耕技术、创新产品，通过 AI 技术降本增效，拓宽产品在泛交通领域的应用场景。

——艾氪英诺创始人兼 CEO 张磊