ONNX Runtime | Arm 与微软携手合作，为基于 Arm 的 PC 和移动设备应用赋能卓越的 AI 体验

随着人工智能 (AI) 成为当今 PC 和移动端体验（从聊天机器人到生产力提升）不可或缺的一部分，这些设备对 CPU 上高效、可扩展推理的需求不断增长。Arm 与微软正在合作满足这一需求，为从高端 PC 和笔记本电脑到旗舰及入门级智能手机等广泛的设备带来加速的 AI 体验。

Arm 与微软携手合作，通过将 Arm KleidiAI 集成到行业中最广泛使用的开源 AI 运行时之一 ONNX Runtime 中，进一步扩展了其功能。KleidiAI 是一个面向 AI 框架的轻量级内核库，它能在各种技术市场和基于 Arm 的设备上，以无与伦比的规模为 AI 模型和工作负载释放无缝的性能优化。这一最新的合作成果紧随先前在其他领先 AI 框架中成功集成 KleidiAI 的步伐。

边缘侧的加速 AI 体验

在过去几年中，Windows on Arm 生态系统取得了显著增长，Adobe Photoshop、Google Chrome、Spotify 和 Zoom 等最常用的应用程序纷纷发布了 Arm 原生构建版本，以提供性能和能效优势。通过将 KleidiAI 集成到 ONNX Runtime 中，Arm 和微软使得更广泛的开发者社区能够获得针对 PC 和移动设备的 AI 性能提升，而应用程序开发者无需进行额外的工程投入。ONNX Runtime 为微软多款产品（包括 Microsoft 365 套件和 Microsoft Copilot）的 AI 工作负载提供支持，并为 Copilot+ PC 上的 AI 体验提供动力。

ONNX Runtime 中的 KleidiAI 集成优化了一系列模型的 AI 工作负载，其中包括 Phi-3 Mini——这是一款拥有 38 亿参数的小型语言模型，旨在实现边缘侧的高级 AI 体验。这些体验包括实时聊天机器人、虚拟助手、智能文本补全以及在设备本地运行的生产力工具增强功能。通过将 Phi-3 Mini 的紧凑架构与 KleidiAI 高效的 CPU 执行提供程序集成相结合，开发人员无需连接云端即可提供快速、智能的功能。

PC 和移动端真实的 AI 性能提升

在 PC 和移动平台上，这一集成已经为最终用户带来了实际的益处，加快了 AI 响应时间，从而能够在设备上直接实现更智能、更快速的交互，而开发人员无需进行架构更改或后端重写。

Arm 的基准测试表明，在 ONNX Runtime 中集成 KleidiAI 后，性能得到了显著提升。其中包括：在基于 Armv9 的平台上运行 Windows 时，Phi-3 模型的提示词处理吞吐量提升了 2.4 倍，Token 生成速度提升了 12%。这些改进使得聊天机器人等 AI 应用程序的响应更加自然流畅。同样，在一个参考 Android 应用中，在搭载最新 Armv9 CPU 的vivo X200 Pro 旗舰智能手机上运行相同的 Phi-3 模型时，我们的基准测试显示提示词处理速度加快了 2.6 倍。

由于 KleidiAI 集成运行在普及的 Arm CPU 架构上，AI 应用程序和工作负载可以在不同的生态系统和芯片组之间进行移植。KleidiAI 旨在与当前的 Arm 架构特性协同工作，例如 Neon、SVE2（可伸缩矢量扩展）和 SME（可伸缩矩阵扩展）。这些面向未来的功能确保开发人员今天构建的 AI 增强体验能够随着未来硬件的创新而扩展。ONNX Runtime 中的 KleidiAI 集成已随 ONNX RT V1.22 发布。

大规模赋能 AI

Arm 与微软的合作是推动为开发者普及优化后 AI 的变革性一步。它简化了在各种 PC 和移动设备上推出智能功能的过程，且不会增加成本或工程投入，同时为最终用户带来加速的 AI 体验。随着 AI 的不断发展，这些优化工作将确保开发者、OEM 和平台团队拥有所需的性能、灵活性和覆盖范围，从而为更多用户带来更好、更智能的体验。

了解更多

访问以下学习路径，了解有关如何利用 KleidiAI ONNX Runtime 集成的更多信息