ONNX Runtime | Arm与微软合作，赋能Arm架构PC和移动设备上的AI应用体验

如今，人工智能 (AI) 已成为PC和移动设备体验不可或缺的一部分，从聊天机器人到生产力提升，对这些设备中CPU高效、可扩展推理的需求持续增长。Arm和微软正携手合作，以满足这一需求，为从高端PC和笔记本电脑到旗舰和入门级智能手机的广泛设备带来加速的AI体验。

Arm和微软已携手合作，通过将Arm KleidiAI集成到行业使用最广泛的开源AI运行时之一ONNX Runtime中，进一步扩展其功能。KleidiAI是一个轻量级的AI框架内核库，可在广泛的技术市场和Arm架构设备上以无与伦比的规模，为AI模型和工作负载带来无缝的性能优化。此次最新的合作是在KleidiAI成功集成到其他领先AI框架之后进行的。

边缘侧加速AI体验

过去几年中，Windows on Arm生态系统取得了显著增长，Adobe Photoshop、Google Chrome、Spotify和Zoom等最广泛使用的应用程序都发布了Arm原生版本，以提供性能和能效优势。通过将KleidiAI集成到ONNX Runtime中，Arm和微软正在让PC和移动设备的AI性能提升普惠到广大开发者社区，且无需应用程序开发者付出额外的工程努力。ONNX Runtime赋能了许多微软产品中的AI工作负载，包括Microsoft 365套件和Microsoft Copilot，并为Copilot+ PC提供AI体验。

ONNX Runtime中集成的KleidiAI优化了各种模型上的AI工作负载，包括Phi-3 Mini，一个3.8B参数的小型语言模型，旨在实现边缘侧高级AI体验。这些体验包括实时聊天机器人、虚拟助手、智能文本补全和生产力工具增强，所有这些都在设备本地提供。通过将Phi-3 Mini的紧凑架构与KleidiAI高效的CPU执行提供程序集成相结合，开发者可以无需云连接即可提供快速、智能的功能。

PC和移动设备上AI性能的实际提升

在PC和移动平台，这项集成已为终端用户带来了实际效益，加速了AI响应时间，从而在设备上直接实现更智能、更快速的交互，而无需开发者进行架构更改或后端重写。

Arm基准测试显示，在ONNX Runtime中集成KleidiAI后，性能显著提升。这包括在基于Armv9的平台上运行Windows上的Phi-3模型时，提示处理吞吐量加快2.4倍，令牌生成提高12%。这些改进使得聊天机器人等AI应用程序的响应更加自然流畅。同样，在搭载最新Armv9 CPU的vivo X200 Pro旗舰智能手机上运行相同Phi-3模型的参考Android应用程序中，我们的基准测试显示提示处理速度提升了2.6倍。

由于KleidiAI集成运行在普及的Arm CPU架构上，AI应用程序和工作负载可以在不同生态系统和芯片组之间移植。KleidiAI旨在与当前的Arm架构特性配合使用，如Neon、SVE2（可伸缩向量扩展）和SME（可伸缩矩阵扩展）。这些面向未来的功能确保开发者今天就能构建AI增强体验，并随着未来的硬件创新而扩展。ONNX Runtime中的KleidiAI集成已在ONNX RT V1.22中发布。

大规模赋能AI

Arm和微软的合作是朝着为开发者普及优化AI访问权限迈出的变革性一步。它简化了在各种PC和移动设备上部署智能功能的过程，同时不增加成本或工程投入，并为终端用户带来了加速的AI体验。随着AI的持续发展，这些优化工作将确保开发者、OEM厂商和平台团队拥有性能、灵活性和覆盖范围，为更多用户带来更好、更智能的体验。

了解更多

访问以下学习路径，了解如何利用KleidiAI ONNX Runtime集成