NVIDIA TensorRT助力打造AI计算机视觉算法推理平台

案例简介

? 本案例中通过 NVIDIA TensorRT 以及 NVIDIA T4 GPU， 极视角科技研发的人工智能计算机视觉算法推理平台“极星，进一步提升了计算机视觉算法的准确度和推理效率，满足了对算法实时性要求较高的行业需求，让算法模型推理效率提升了20-40倍。

? 本案例主要应用到 NVIDIA TensorRT 以及 NVIDIA T4 GPU。

应用背景

极视角科技（ EXTREME VISION）是专业的人工智能计算机视觉算法提供商，开创了全球首家视觉算法商城，已上架 1000 余种算法，覆盖 100 多个行业领域的应用场景，汇聚超过 200，000 位开发者。

“极星”是基于极视角强大技术能力打造的AI应用开发及服务平台，。平台支持快速接入各类算法、数据及智能设备，实现AI自闭环能力，并通过应用服务和标准化接口，帮助终端客户低成本实现AI与业务的结合，快速构建智能应用。

客户挑战

在未来的人工智能计算机视觉算法领域，碎片化和长尾化需求将成为市场的主流与核心。在数字化转型的过程中，某几个特定算法将再无法满足客户的综合性需求。反之，由多种不同算法组成的算法包将成为解决人工智能算法应用落地问题的发展方向。因此，对算法准确度和推理效率的高要求将成为AI算法发展的新挑战，尤其是在那些对算法及时性和实时反馈性要求较高的行业中，这种挑战将尤为明显。”极星“平台作为极视角科技计算机视觉算法的推理部署平台，为了能够快速接入各类算法、数据及智能设备，将客户业务与AI高效结合，同样面临着在算法模型推理效率上的考验与挑战。

应用方案

基于上述挑战，极视角科技选择采用 NVIDIA TensorRT和NVIDIA T4 GPU来提供支持。使用后，TensorRT高效赋能了极星推理平台，使算法整体推理效率得到了极大的提升，给极视角业务带来了巨大的支持。主要体现在以下方面：

极视角科技采用了NVIDIA TensorRT和NVIDIA T4 GPU赋能”极星“平台，算法模型推理速度和推理效率较原来提升了近30倍，从而能够进一步提升了算法的及时性，满足了客户对于算法实时效用的高要求。

由于NVIDIA TensorRT和NVIDIA T4 GPU本身的技术优势，在应用过程中，不但可以与原生推理框架间实现兼容，而且可以与原始算法高效整合，因此，在整体的技术结合和应用的过程中，算法兼容、整合和应用效率较原来提升了10倍。

使用效果

通过 NVIDIA TensorRT和NVIDIA T4 GPU， 极视角科技研发的人工智能计算机视觉算法推理平台，”极星“，进一步提升了计算机视觉算法的准确度和推理效率，满足了对算法实时性要求较高的行业需求，让算法模型推理效率提升了20-40倍，其在技术兼容和整合过程中，整体效率也提升了近10倍。

“在使用 NVIDIA TensorRT和NVIDIA T4 GPU对平台赋能后，“极星”推理平台的算法推理效率得到了进一步的提升，更好地支持速接入各类算法、数据及智能设备，实现AI自闭环能力，并通过应用服务和标准化接口，帮助终端客户低成本实现AI与业务的结合，快速构建智能应用。从业务拓展的角度上，凭借着高效的算法推理效率，使得算法的及时分析能力得到了提升，帮助”极星“平台更加顺利的进入了许多对算法实时性要求较高的行业，同时，也更有利于极视角对外提供算法+平台+应用+服务的一站式AI解决方案，实现多行业数字化转型的目标。“极视角科技研发高级副总裁，技术委员会负责人成望表示。

审核编辑：郭婷