Arm 发布 Armv9 边缘 AI 平台，搭载 Cortex-A320 CPU 和 Ethos-U85 NPU，可运行超十亿参数端侧 AI 模型，性能显著提升。
原文标题：Arm 发布全新 Armv9 边缘 AI 计算平台，可运行超 10 亿参数端侧 AI 模型
原文作者：AI前线
冷月清谈：
怜星夜思：
2、Armv9 架构的安全性提升对物联网设备的实际应用有哪些影响？
3、Kleidi 软件库的引入对开发者来说有哪些好处？除了支持现有的 AI 框架，未来 Kleidi 还会支持哪些新的框架或技术？
原文内容
近日，Arm 正式发布了其全球首款 Armv9 边缘 AI 计算平台。据介绍，该平台以全新的 Arm Cortex-A320 CPU 和边缘 AI 加速器 Arm Ethos-U85 NPU 为核心，可支持运行超 10 亿参数的端侧 AI 模型。
全新发布的 Arm Cortex-A320 是 Arm 首款基于 Armv9 架构的超高能效 CPU，专为物联网应用优化，也是该全新计算平台的核心组件。与上一代 Cortex-A35 相比，Cortex-A320 在机器学习（ML）计算能力上提升了 10 倍，标量计算性能提高了 30%。同时其能效比较 Cortex-A520 提升了 50%。此外，Cortex-A320 支持四核共享集群，可根据不同需求灵活扩展，满足各种应用场景的需求。
作为此次边缘 AI 计算平台的另一核心, 对 Transformer 网络具有原生支持的 Ethos-U85 NPU 是 Arm Ethos-U 产品线中的第三代 NPU。与前一代产品相比，该 NPU 的性能提升了四倍，能效提高了 20%，并且可在主流网络上实现高达 85% 的利用率。
Cortex-A320 CPU 和 Ethos-U85 NPU 实现了深度配合:Cortex-A320 可以为 Ethos-U85 提供更高的内存容量与带宽，让大模型在 Ethos-U85 上的执行如虎添翼；任何开发者们不希望在 Ethos-U85 上运行的 AI 操作，可以回退到 Cortex-A320，利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。这使智能物联网与消费类电子生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。
与去年发布的基于 Cortex-M85 搭配 Ethos-U85 的平台相比，全新 Armv9 边缘 AI 计算平台的 ML 计算性能提升了 8 倍，带来了显著的 AI 计算能力突破, 助力大模型与生成式 AI 在物联网领域的落地。
值得一提的是,Cortex-A320 充分利用了 Armv9 增强的安全性和 AI 计算特性, 这些特性此前已经在其他市场得到广泛应用，而 Arm 现在也将其引入物联网领域。
在安全性方面,Cortex-A320 引入了 Secure EL2, 该特性增强了 TrustZone 内部的隔离性，支持更安全地运行软件容器 ; 指针验证 / 分支目标识别（PACBTI）可有效缓解跳转和返回编程中的指针安全隐患 ; 内存标记扩展（MTE）可通过内存标记机制，使黑客更难利用漏洞进行攻击，提高整体系统安全性。
在 AI 计算能力方面，增强的 Neon 和可伸缩向量扩展 (SVE2) 技术，可提供更高效的 ML 计算能力 ; 支持 BFloat16 等新数据类型，提高了 AI 计算的精度和能效 ; 而新增的矩阵乘法指令，优化了 AI 和 ML 计算性能，加速神经网络推理和训练任务。
去年，Arm 推出了 Kleidi 软件库，并将其引入了智能手机和服务器市场，它包含优化 AI 负载在 Arm CPU 上执行的 KleidiAI 和加速机器视觉的 KleidiCV。现在,Arm 将 Kleidi 扩展到了物联网。KleidiAI 是一套专为 AI 框架开发者设计的计算内核，让开发者可以无缝地在 Arm CPU 上获取最佳性能。它支持如 Neon 和 SVE2 等 Armv9 架构的关键特性，大幅提升了 AI 的计算效率。此外，KleidiAI 已经集成到多个主流 AI 框架，包括 Llama.cpp、ExecuTorch 和 LiteRT（通过 XNNPACK），可加速 Meta Llama 3 和 Phi-3 等主流 AI 大模型，进一步释放 AI 计算性能。
从 AI 发展初期开始，Arm 技术一直推动着边缘智能创新的发展轨迹。此次发布的全新 Armv9 边缘 AI 计算平台可覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体 AI、自主规划、执行复杂任务。展望未来，Arm 全新的边缘 AI 计算平台对物联网生态系统带来的影响值得期待。
