边缘AI加速：器 NPU“!!还是”GPU

iGPU、NPU和扩展卡并非适用于所有计算任务的通用解决方案。

在边缘部署人工智能(AI)面临着独特的硬件挑战。虽然强大的图形处理单元(GPU)在开发中很常见，但实际用例往往面临尺寸、功耗、环境和预算方面的限制。这些限制使得独立显卡（有时简称为dGPU）与更节能的方案相比并非理想的解决方案。

然而，实现边缘AI加速目标仍然是可能的。让我们探索边缘AI领域NPU与GPU的演变格局，包括集成GPU(iGPU)、神经处理单元(NPU)和扩展卡，以了解它们如何满足多样化的工业AI推理和机器学习需求。

边缘AI加速的动态格局

通用GPU尽管拥有高性能潜力，但由于能效限制、对恶劣条件（灰尘、振动）的敏感性以及显著的尺寸和成本影响，在大规模边缘部署中往往举步维艰。幸运的是，边缘AI加速器技术领域正在快速创新。对于数据中心以外的分布式架构，或需要平衡数据处理性能、成本和能效的轻量级AI应用，仔细评估您的具体需求和工作负载至关重要。在坚固耐用的无风扇工业计算机中使用NPU等专用处理器，可以提高极端条件下的可靠性，并优化各种计算任务的硬件成本。

与独立的边缘AI平台相比，集成AI专用处理器、神经处理单元(NPU)甚至MXM加速器等加速器，能够精准地为AI工作负载提供所需的计算能力。在选择AI加速器时，评估系统总成本和软件框架生态系统至关重要。虽然AI扩展卡可以提升性能，但它们也会显著增加系统成本。通常，像iGPU和NPU这样的集成解决方案，或像NVIDIAJetson这样的专用平台，可以为许多用例提供更精简、更经济高效的方法。

NPU驱动的AI：神经网络的高效片上加速

历史上，强大的中央处理器(CPU)和GPU凭借其广泛的软件兼容性，主导了AI工作负载和算法。但集成显卡和加速技术正在不断发展，现代处理器和SoC提供了宝贵的板载工业AI推理和机器学习功能。

关键创新在于集成的NPU，例如英特尔AIBoost（第14代酷睿Ultra）和AMDXDNA（锐龙7000/8000系列）。这些专用协处理器具有专门的电路，用于神经网络所必需的矩阵乘法和张量运算，可直接在处理器本身上加速深度学习。虽然它们的性能通常适用于后台图像处理、音频处理和CPU卸载，但它们为轻度至中度边缘AI推理提供了低延迟、低功耗的解决方案，尤其是在空间受限或恶劣的环境中，功耗较低。

例如，NPU在低分辨率视频中的实时物体检测或语音识别等特定任务上表现出色，通常可提供高达数TOP的AI性能，因此在智能手机和物联网设备等支持AI的消费电子产品中广受欢迎。这凸显了NPU与GPU在特定边缘计算用例中的关键区别。

iGPU：经常被忽视的并行处理AI资源

英特尔Arc和AMDRadeonAI等现代集成GPU(iGPU)在工业AI推理甚至部分模型训练方面拥有惊人的能力。其并行处理架构使其能够处理种类繁多的AI任务，其性能通常超出了通用计算领域的普遍认知。对于需要中等AI性能的AI应用而言，利用iGPU是一种经济高效且节能的方法。

这些iGPU代表了基础显卡的重大升级，专为并行计算而设计，并在性能和能效之间实现了平衡。例如，英特尔ArcGPU可以实现数十TOPs的计算能力，适用于视频分析、图像识别、图像处理、视频编辑，甚至轻量级机器学习推理。当NPU性能不足，而专用GPU的功耗、空间或成本又无法满足需求时，这些改进使其成为一个可行的选择。NPU与GPU之间的性能差异在此更加清晰，尤其是在考虑工作负载时。

AI扩展卡：通过专用处理器实现目标性能

虽然NPU和iGPU能够显著提升边缘AI性能，但配备专用处理器的专用AI扩展卡可以进一步提升特定任务和AI工作负载的性能。M.2模块（例如Hailo-8边缘AI处理器）提供了一种便捷的方式来提升强大的计算能力。与谷歌的TPU（张量处理单元）相比，Hailo-8在功耗相似的情况下，性能显著提升（26TOPsvs.4TOPs）。

例如，OnLogic的ML100G-56集成了Hailo-8卡，为适合多样化部署的超紧凑工业计算平台添加了令人印象深刻的AI处理能力。

MXM（移动PCIExpress模块）加速器（有时集成NVIDIARTX技术）也正在工业计算领域兴起。这些紧凑、可拆卸的GPU模块专为空间受限的系统而设计，无需占用全尺寸PCIe卡的空间，即可显著提升图形渲染和AI处理能力，使其成为需要增强边缘AI加速的坚固耐用型嵌入式AI应用的理想之选。

NvidiaJetson：适用于复杂AI模型的多功能高性能解决方案

对于超出NPU、iGPU或AI扩展卡能力范围的工作负载，NvidiaJetson系列为工业AI推理和复杂的深度学习模型提供了强大且适应性强的解决方案。Jetson平台拥有广泛的性能范围和成熟的软件生态系统，非常适合深度学习模型、生成式AI、图形渲染、大型语言模型(LLM)和自然语言处理等要求严苛的AI应用。更重要的是，它们还解决了边缘计算部署中传统GPU所面临的坚固耐用挑战。

NVIDIAJetson系列涵盖入门级JetsonNano、高性能JetsonOrinNX和AGXOrin。OrinAGX可提供强大的计算能力，适用于复杂的AI模型以及自动驾驶汽车、机器人技术和高级视频分析等高要求应用。Jetson还具有统一的软件堆栈，简化了跨不同Jetson平台部署AI模型的过程。这为高要求AI工作负载在NPU、GPU和CPU之间做出选择提供了强有力的替代方案。

为了充分利用这些AI加速器选项进行工业AI推理，合适的软件工具和框架至关重要。这些工具通常遵循三个阶段的流程：

模型输入：利用来自支持的训练框架的训练模型。

优化：针对特定目标硬件优化和量化模型，以避免瓶颈。

部署：在目标操作系统上部署准备好的模型（运行时）。

每家集成加速器技术供应商都提供了硬件加速支持的框架列表。以下是简要概述，但不同操作系统的支持情况可能有所不同：

必须认识到，iGPU、NPU和扩展卡并非适用于所有计算任务的通用解决方案。它们的原始计算能力可能并不总是能与高性能独立GPU匹敌，这凸显了优化和基准测试对于成功实现边缘AI以及避免数据处理流程出现瓶颈的重要性。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。

想要获取半导体产业的前沿洞见、技术速递、趋势解析，关注我们！

　　在会见国泰集团行政总裁林绍波时，自治区党委书记马兴瑞表示，希望国泰集团发挥优势，和新疆共同运行好直航航线，不断提升吸引力和可持续性。着眼更大范围、更宽领域拓展双方互利合作，助力新疆经济社会加快发展，打造亚欧黄金通道和向西开放桥头堡。用好新疆区位优势，积极开拓中亚等区域市场，实现更大发展。