AI边缘推理计算机设计通过边缘提升节点变得简单

当计算系统根据经过训练的机器学习算法进行预测时，就会发生推理。虽然推理的概念并不新鲜，但在边缘执行这些高级操作的能力是相对较新的。

基于边缘的推理引擎背后的技术是嵌入式计算机。但显然，它远远不止于此，它具有放大的计算能力，大量的存储空间以及实时处理大量数据所需的I / O。目标是尽可能靠近生成数据的位置执行操作，从而在最短的时间内获得最准确的结果。该位置通常非常靠近传感器，外部数据被输入到系统中。一旦做出决策，它们通常会被送回边缘进行，从而推动边缘的实时决策。

基于边缘的推理引擎的一个关键问题是其部署环境。例如，它是否必须设计用于处理冲击和振动？它会产生极高的温度或低温吗？它是否会提供性能加速的正确平衡？对每个问题的回答都可能导致不同的设计，或者至少以不同的方式进行设计。

一些供应商拥有全套内部环境问题测试设备。这将包括热调节模拟，当然还有冲击和振动。在大多数应用中，专为“坚固耐用和热应用”而设计的系统意味着它可以在-40°C至+ 70°C的温度范围内工作，并且可以承受高达20 G的冲击和3 Grms的振动。

为人工智能而增强

通用嵌入式计算机和设计用于处理推理算法的计算机之间有明显的区别。首先，推理引擎对计算性能的要求最高。任何设计人员都可以从货架上撤下高端 X86 处理器并将其整合到系统中，即使是包含数据中心平台功能的系统。但是，在硬件和软件方面，需要人工智能系统方面的深厚专业知识和经验，才能设计出具有最大吞吐量的系统。Premio的专家通过其工业级计算机平台的强大硬件工程和设计满足了这一要求。

Premio提出了一种称为边缘增强节点的模块化技术，可以最大限度地提高边缘的系统性能。硬件节点以物理方式连接到平台的下半部分，并为需要数据采集以获得实时见解的边缘级工作负载提供硬件加速。这种两件式模块化设计有助于保持平台的耐用性，同时通过创新型罐式砖块和 GPU 中的非易失性内存 （NVMe） 固态磁盘驱动器 （SSD） 提供性能加速，以实现并行计算性能。每个边缘加速节点都使用高 RPM 主动冷却来确保这些组件的可靠性。

Premio提供了许多不同的边缘增强节点。例如，RCO-6000-CFL-2N2060S 选件增加了一个可热插拔的 NVMe 固态硬盘罐，能够容纳多达两个 15 毫米 U.2 固态硬盘和一个 PCIe GPU。第二种选择是 RCO-6000-CFL-4NH，可增强存储功能，支持 x2 热插拔 NVMe 固态硬盘罐，可容纳两个 15 毫米 U.2 固态硬盘，用于支持硬件和软件 RAID 的高容量 NVMe 存储。第三个选项 RCO-6000-CFL-8NS 专注于更高速的 NVMe 存储，使系统集成商能够添加多达 8 个 7 毫米、2.5 英寸的存储。U.2 NVMe 固态硬盘，即将推出用于普瑞米欧的边缘提升节点产品组合。

这种类型的拓扑非常重要，因为对于基于边缘的推理系统，存储与驻留在背板上的I / O分开，从而最大限度地提高性能。“秘诀”在于平衡PCIe通道的可用数量以提供最佳性能，这是Premio能够从其嵌入式和数据中心计算机架构设计组合中提取的设计技术。

必须考虑的其他I / O包括USB，COM接口，甚至5G。对于电路板供应商和 OEM 来说，处理高吞吐量 I/O 的一个好方法是通过模块化 I/O 子板来增加灵活性。通过这种方法，系统可以准确地提供所需的I / O，并消除特定于应用程序的工作负载的不必要的I / O选择。

面向 ADAS 应用的人工智能

当今一个流行的应用是ADAS或高级驾驶员辅助系统。这些复杂的系统基于有效的数据收集和共享为自动驾驶汽车应用提供动力，旨在为五级自动驾驶提供不断更智能的算法。

注意到这显然是一个基于边缘的应用，边缘增强节点设计团队肯定会结合适当的加固功能和热调节。例如，系统操作员需要始终动态了解箱内的温度。在这里，可能的情况包括风扇。作为耗电组件，该风扇仅在必要时打开电源。

在Premio为客户提供的软件开发工具包中，有一个应用程序可以让他们最大限度地利用这些风扇，确定它们应该何时打开，它们应该以什么速度运行，等等。该软件还提供了一个安全阀，因为它可以将所有I / O读取操作从各种外围设备暂停回CPU。也可以使用物理按钮和LED指示灯执行此操作。

最大化电源效率

功率效率是基于边缘的推理引擎的首要任务。系统设计人员认识到需要将处理能力放在更靠近物联网传感器的位置。一个直接的解决方案是添加各种性能加速器，通常采用 GPU、NVMe 存储和 M.2 加速器的形式。此设计策略的权衡是，每个组件都是耗电的组件，需要解决功耗与性能预算的问题。将这些任务分离到边缘增强节点可提高处理能力并减少主机处理器上的负载，主机处理器的负载在其加固的宽功率输入（从 9 V 到 48 V DC）中隔离。模块化边缘加速节点的一个独特功能是，它为可靠性至关重要的最苛刻的边缘工作负载中的强大性能加速模块（NVMe SSD、GPU 或 m.2 加速器）提供电源稳定性。

由于基于边缘的推理引擎会生成大量数据，因此存储是关键。边缘加速节点包括一个 6 Gbit/s SATA 接口，可连接四个驱动器（两个内部驱动器和两个外部驱动器）。然而，对于此应用程序而言，合并 NVMe 驱动器可能会改变游戏规则。在这种特殊情况下，它最多通过四个 2.5 英寸 15 毫米驱动器和八个 2.5 英寸 7 毫米驱动器中的另一个选项进行处理。

虽然板载存储至关重要，但将数据与云协调的能力也至关重要。在此方案中，此过程通过标准千兆以太网或 10 Gbit/s 模块进行处理。无线或蜂窝LTE也是选项，具体取决于应用程序和环境。由于该设计提供灵活的I/O子板，用户甚至可以集成5G子板模块，以实现5G部署的超低延迟连接。

安全性和下一代可升级性

虽然任何工业平台都必须包含适当的安全措施，但将系统性能推向边缘会使安全性变得更加重要。Premio 以公认的行业标准（如 TPM 2.0）为基础来加密数据。然后是要解决的物理方面 - 有人从字面上窃取物理系统。为了解决这个问题，边缘增强节点上的 NVMe 驱动器位于锁和钥匙驱动器笼后面。

边缘增强节点的模块化使其本质上可升级。只需在模块可用时将其换成性能更高的版本即可。虽然此功能可能会略微增加物料清单（BOM），但它可以保护长期投资，因为可以保证系统具有更长的有效寿命。在软件方面，可以通过LAN在现场进行无线升级，并且由于内置的安全功能，可以放心地完成。而随着行业走向云原生升级路径，这已经成为升级的首选方式。只要系统保持“容器化”状态，安全问题就会得到解决和管理 - 无论是在系统的整个生命周期内，还是在不断变化的数字安全威胁环境中。

Premio认识到，其本地化的制造使公司在竞争中占据了一席之地。所有组装都在洛杉矶的工厂进行，无论订单大小。这消除了海外供应链的潜在负担，加快了上市时间并简化了部署，使客户能够非常快速地启动和运行企业规模和部署。

审核编辑：郭婷