我们的客户

听听使用 ONNX Runtime 的部分产品和公司的评价

Adobe

借助 ONNX Runtime,Adobe Target 集灵活性和标准化于一体:客户可以在他们选择的框架中灵活训练 ML 模型,并通过标准化方法大规模、可靠地部署这些模型以实现快速推理,从而提供真正的实时个性化体验。


-Georgiana Copil,Adobe 高级计算机科学家

AMD

ONNX Runtime 与 AMD ROCm 开放软件生态系统的集成,帮助我们的客户利用 AMD Instinct GPU 的强大性能,灵活地跨多个框架加速和扩展其大型机器学习模型。


-Andrew Dieckmann,AMD 数据中心 GPU 和加速处理副总裁兼总经理

蚂蚁集团 (Ant Group)

通过使用 ONNX Runtime,我们提高了由多个深度学习框架训练的许多计算机视觉 (CV) 和自然语言处理 (NLP) 模型的推理性能。这些模型是支付宝生产系统的一部分。我们计划将 ONNX Runtime 用作更广泛应用(如点击率预测和跨模态预测)中更多深度学习模型的高性能推理后端。


-张晓明,蚂蚁集团推理团队负责人

Algoriddim

在 Algoriddim,我们在 Windows 设备上使用 ONNX Runtime 来支持我们的 Neural Mix™ 功能,该功能允许用户实时分离任何歌曲的人声和乐器,以及我们的 Automix 功能,该功能可以实现无缝的自动 DJ 混音。ONNX Runtime 在抽象和灵活性之间取得了完美的平衡,并且使用 QNN 执行提供程序使我们能够利用 Copilot+ PC 上的 NPU 实现无与伦比的推理性能,同时保持 CPU 空闲以执行其他任务。


-Frederik Seiffert,Algoriddim 首席技术官 (CTO)

ATLAS 实验

在 CERN 的 ATLAS 实验中,我们将 ONNX Runtime 的 C++ API 集成到我们的软件框架 Athena 中。我们目前正在使用 ONNX 模型执行推理,特别是在电子和μ子重建方面。我们受益于其 C++ 兼容性、平台* 到 ONNX 转换器(* Keras、TensorFlow、PyTorch 等)及其线程安全性。


-ATLAS 实验团队,CERN(欧洲核研究组织)

Autodesk

Autodesk Flame 使用 ONNX Runtime 在跨平台兼容性和性能方面具有主要优势,为艺术家提供了他们所期望的灵活性和交互性。这使他们能够直接在 Flame 的创意工具集中使用机器学习模型,从而提高其作品质量并增强软件的可扩展性。Microsoft ONNX Runtime 团队在整个开发过程中提供了专家指导和支持,使我们能够将 AI 驱动的创意工具交到寻求高质量 VFX 和后期制作解决方案的艺术家手中。


-Louis Martin,Autodesk Flame 高级软件开发经理

Bazaarvoice

大规模构建和部署 AI 解决方案到云端非常复杂。面对海量数据集和性能考量,找到和谐的平衡至关重要。ONNX Runtime 为我们提供了灵活性,可以将用 Python 构建的 scikit-learn 模型打包,无服务器地部署到 Node.js 环境中,并在云端以卓越的性能运行。


-Matthew Leyburn,Bazaarvoice 软件工程师

Camo

ONNX Runtime 使 Camo Studio 能够以速度和准确性提供背景分割和特征检测等功能。它与我们现有的模型无缝集成,并允许我们定位任何处理器,包括最新的 NPU,从而节省了我们宝贵的开发时间,并使我们能够为所有用户带来创新功能。我们将 ONNX Runtime 推荐给任何寻求简化模型部署和释放其应用程序全部潜力的开发人员。


-Aidan Fitzpatrick,Reincubate 创始人兼首席执行官 (CEO)

Cephable

ONNX Runtime 使我们能够同时针对支持 CPU、GPU 和 NPU 的设备。使用 ONNX Runtime 和 AI Hub 将模型转换为 NPU 将我们的工程工作量从 30 天减少到 7 天。鉴于当前的技术水平,今天可能只需要 3 天。这使我们能够为用户提供尖端性能,最大限度地减少运行其他应用程序时 AI/ML 工作负载的影响,并留出更多时间专注于功能开发。


-Jon Campbell,Cephable 工程总监

ClearBlade

ClearBlade 将 ONNX Runtime 与我们的企业物联网和边缘平台集成,使客户和合作伙伴能够使用他们想要的任何行业 AI 工具构建 AI 模型。使用此解决方案,我们的客户可以使用 ONNX Runtime Go 语言 API 无缝部署任何模型,使其在偏远地区或工厂车间的设备上运行!


-Aaron Allsbrook,ClearBlade 首席技术官 (CTO) 兼创始人

Deezer

在 Deezer,我们将 ONNX Runtime 用于流媒体服务中音乐推荐的机器学习功能。ONNX Runtime 的 C API 易于与我们的软件堆栈集成,使我们能够以出色的性能运行和部署 transformer 模型,适用于实时用例。


-Mathieu Morlon,Deezer 软件工程师

Goodnotes

感谢 ONNX Runtime Web,Goodnotes 已无缝实现了 Scribble to Erase 功能。这是 Goodnotes 针对 Android、Windows 和 Web 的首个 AI 功能,提供闪电般的性能和极其流畅的用户体验。这是一项颠覆性的创新!


-Pedro Gómez,Goodnotes 高级软件工程师

Hugging Face

我们使用 ONNX Runtime 在 Hugging Face 模型中心轻松部署数千个最先进的开源模型,并为 Accelerated Inference API 的客户在 CPU 和 GPU 上加速私有模型。


-Morgan Funtowicz,Hugging Face 机器学习工程师

Hypefactors

ONNX Runtime 支持我们的许多自然语言处理 (NLP) 和计算机视觉 (CV) 模型,这些模型实时处理全球媒体格局。它是我们扩展生产工作负载的首选框架,提供了从内置量化工具到简单的 GPU 和 VNNI 加速等重要功能。


-Viet Yen Nguyen,Hypefactors 首席技术官 (CTO)

InFarm

InFarm 提供基于机器学习的智能农业解决方案,在各种硬件上运行计算机视觉模型,包括本地 GPU 集群、NVIDIA Jetson 等边缘计算设备以及基于云的 CPU 和 GPU 集群。ONNX Runtime 使 InFarm 能够标准化多个团队生成的模型的格式和输出,从而简化部署,同时在所有硬件目标上提供最佳性能。


-Ashley Walker,InFarm 首席信息和技术官 (CITO)

Intel

我们很高兴在 Intel® Distribution of OpenVINO™ 上支持 ONNX Runtime。这加速了 Intel 硬件上的机器学习推理,并使开发人员能够灵活地选择最适合他们需求的 Intel 硬件组合,从 CPU 到 VPU 或 FPGA。


-Jonathan Ballon,Intel 物联网事业部副总裁兼总经理

Intelligenza Etica

我们使用多种技术栈和框架,将研发与伦理相结合,在各种市场和受监管行业中集成 AI 模型。借助 ONNX Runtime,我们提供了最大的性能和灵活性,支持客户使用他们偏好的技术,从云端到嵌入式系统。


-Mauro Bennici,Intelligenza Etica AI 架构师和 AI 伦理学家

NVIDIA

ONNX Runtime 使我们的客户能够轻松地将 NVIDIA TensorRT 的强大优化应用于机器学习模型,无论使用何种训练框架,并在 NVIDIA GPU 和边缘设备上进行部署。


-Kari Ann Briski,NVIDIA 加速计算软件和 AI 产品高级总监

Apache OpenNLP

将 ONNX Runtime 集成到 Apache OpenNLP 2.0 中,使得在 Java 生态系统中轻松使用最先进的自然语言处理 (NLP) 模型成为可能。对于已经使用 OpenNLP 的库和应用程序,如 Apache Lucene 和 Apache Solr,通过 OpenNLP 使用 ONNX Runtime 提供了令人兴奋的新可能性。


-Jeff Zemerick,OpenSource Connections 搜索相关性工程师兼 Apache OpenNLP 项目主席

Oracle

ONNX Runtime 的 Java API 使 Java 开发人员和 Oracle 客户能够无缝使用和执行 ONNX 机器学习模型,同时充分利用 Java 的表达能力、高性能和可伸缩性。


-Stephen Green,Oracle 机器学习研究组总监

Peakspeed

使用通用的模型和代码库,ONNX Runtime 使 Peakspeed 能够轻松地在不同平台之间切换,帮助我们的客户根据其基础设施和要求选择最具成本效益的解决方案。


-Oscar Kramer,Peakspeed 首席地理空间科学家

Pieces.app

ONNX Runtime 为我们提供了一个轻量级运行时,它专注于性能,同时允许我们的机器学习工程师为手头的任务选择最佳框架和模型。


-Brian Lambert,Pieces.app 机器学习工程师

PTW Dosimetry

PTW 的使命是确保放射治疗的安全。然而,将 AI 模型从研究带入临床可能是一个挑战。这是非常不同的软件和硬件环境。ONNX Runtime 弥合了这一差距,使我们能够选择最适合研究的工具,并确保在任何环境中部署都能顺利进行。


-Jan Weidner,PTW Dosimetry 研究软件工程师

Redis

ONNX Runtime 支撑着 RedisAI 的独特能力,即在 Redis 内部无缝运行机器学习和深度学习模型推理。这种集成允许数据科学家在他们偏好的 ML 框架(PyTorch、TensorFlow 等)中训练模型,并从 Redis 提供这些模型以实现低延迟推理。


-Sam Partee,Redis 应用 AI 首席工程师

Rockchip

凭借对 ONNX Runtime 的支持,我们的客户和开发人员可以跨越模型训练框架的界限,轻松地在瑞芯微 (Rockchip) NPU 驱动的设备中部署 ML 模型。


-陈锋,瑞芯微 (Rockchip) 高级副总裁

Samtec

我们需要一个运行时引擎来处理从数据科学领域到高性能生产运行时系统的转换。ONNX Runtime (ORT) 简直“太好用了”。我之前没有使用 ORT 的经验,但我能够在短短几个小时内轻松转换我的模型,并用多种语言运行推理原型。在可预见的未来,ORT 将成为我的首选运行时引擎。


-Bill McCrary,Samtec 应用架构师

SAS

ONNX Runtime 和 SAS Event Stream Processing 的独特组合通过支持灵活的管道并使开发人员和系统集成商能够在不更改打包的情况下针对同一 AI 模型面向多个硬件平台,从而改变了游戏规则。考虑到持续节省的额外构建和测试工作,这一点至关重要。


-Saurabh Mishra,SAS 物联网产品管理高级经理

Teradata

Teradata 提供了一个高度可扩展的框架,可以导入和推理先前训练好的机器学习 (ML) 和深度学习 (DL) 模型。ONNX Runtime 使我们能够扩展 Vantage Bring Your Own Model (BYOM) 的能力,并为数据科学家在 Teradata Vantage 生态系统中提供更多关于 ML 和 DL 模型集成、推理和生产部署的选项。


-Michael Riordan,Teradata Vantage 数据科学与分析产品总监

Topaz Labs

ONNX Runtime 简洁的 C API 与 DirectML 提供程序使 Topaz Labs 能够在短短几天内添加对 AMD GPU 和 NVIDIA Tensor Cores 的支持。此外,我们的模型在 GPU 上的加载速度比任何其他框架快很多倍。即使是参数量约为 1 亿的较大模型,也能在几秒钟内加载完成。


-Suraj Raghuraman,Topaz Labs AI 引擎负责人

Unreal Engine

我们选择 ONNX Runtime 作为 Unreal Engine 的神经网络接口 (NNI) 插件推理系统的后端,是因为它具有可扩展性,能够支持 Unreal Engine 运行的平台,同时使机器学习实践者能够在他们选择的框架中开发机器学习模型。NNI 在 Unreal Engine 中实时评估神经网络,并作为游戏开发者使用和部署机器学习模型来解决许多开发挑战(包括动画、基于机器学习的 AI、摄像机跟踪等)的基础。


-Francisco Vicente Carrasco,Epic Games 研究工程负责人

美国农业部农业研究局

在美国农业部,我们在 GuideMaker 中使用 ONNX Runtime,这是我们开发的一个程序,用于设计 CRISPR-Cas 大规模基因编辑实验所需的引导 RNA 池。ONNX 使我们能够提高现有模型的互操作性,并且 ONNX Runtime 加速了引导 RNA 结合的预测。


-Adam Rivers,美国农业部农业研究局计算生物学家

Vespa.ai

ONNX Runtime 极大地提高了 Vespa.ai 评估大型模型的能力,无论是在性能方面还是在我们支持的模型类型方面。


-Lester Solbakken,Vespa.ai 首席工程师

Writer

在 Writer,ONNX Runtime 对我们优化生产模型非常有帮助。它使我们能够部署更强大的模型,同时仍能以客户期望的延迟交付结果。


-Dave Buchanan,Writer AI 和自然语言处理总监

Xilinx

赛灵思 (Xilinx) 对于微软宣布支持 ONNX Runtime 的 Vitis™ AI 互操作性和运行时感到非常高兴,这将使开发人员能够将机器学习模型部署到 FPGA IaaS(如 Azure NP 系列 VM)和赛灵思边缘设备进行推理。


-Sudip Nag,赛灵思 (Xilinx) 软件与 AI 产品公司副总裁