Adobe
借助 ONNX Runtime,Adobe Target 在一个软件包中获得了灵活性和标准化:灵活性让我们的客户可以选择自己喜欢的框架来训练 ML 模型,标准化则可以大规模稳健地部署这些模型以实现快速推理,从而交付真正的实时个性化体验。
-Georgiana Copil,Adobe 高级计算机科学家
Adobe
借助 ONNX Runtime,Adobe Target 在一个软件包中获得了灵活性和标准化:灵活性让我们的客户可以选择自己喜欢的框架来训练 ML 模型,标准化则可以大规模稳健地部署这些模型以实现快速推理,从而交付真正的实时个性化体验。
-Georgiana Copil,Adobe 高级计算机科学家
AMD
ONNX Runtime 与 AMD 的 ROCm 开放软件生态系统的集成,帮助我们的客户利用 AMD Instinct GPU 的强大功能来加速和扩展他们的大型机器学习模型,并在多个框架之间实现灵活性。
-Andrew Dieckmann,AMD 数据中心 GPU 和加速处理部门公司副总裁兼总经理
蚂蚁集团
使用 ONNX Runtime,我们改进了多个深度学习框架训练的许多计算机视觉 (CV) 和自然语言处理 (NLP) 模型的推理性能。这些模型是支付宝生产系统的一部分。我们计划将 ONNX Runtime 用作更多深度学习模型的高性能推理后端,应用于广泛的应用,例如点击率预测和跨模态预测。
-张晓明,蚂蚁集团推理团队负责人
Algoriddim
在 Algoriddim,我们在 Windows 设备上使用 ONNX Runtime 来支持我们的 Neural Mix™ 功能,该功能允许用户实时隔离任何歌曲的人声和乐器,以及我们的 Automix 功能,该功能允许无缝自动 DJ 混音。ONNX Runtime 在抽象性和灵活性之间取得了完美的平衡,并且使用 QNN 执行提供程序使我们能够利用 Copilot+ PC 上的 NPU 获得无与伦比的推理性能,同时保持 CPU 空闲以执行其他任务。
-Frederik Seiffert,Algoriddim 首席技术官
Atlas Experiment
在 CERN 的 ATLAS 实验中,我们将 ONNX Runtime 的 C++ API 集成到我们的软件框架 Athena 中。我们目前正在使用 ONNX 模型执行推理,尤其是在电子和缪子的重建中。我们受益于其 C++ 兼容性、平台到 ONNX 转换器(* Keras、TensorFlow、PyTorch 等)及其线程安全性。
-ATLAS 实验团队,CERN(欧洲核子研究组织)
Autodesk
Autodesk Flame 对 ONNX Runtime 的使用在跨平台兼容性和性能方面提供了主要优势,为艺术家提供了他们期望的灵活性和交互性。这使他们可以直接在 Flame 的创意工具集中使用机器学习模型,提高他们作品的质量并增强软件的可扩展性。Microsoft 的 ONNX Runtime 团队在整个开发过程中提供了专家指导和支持,使我们能够将 AI 驱动的创意工具交付到寻求高质量 VFX 和后期制作解决方案的艺术家手中。
-Louis Martin,Autodesk Flame 软件开发高级经理
Bazaarvoice
大规模构建和部署云 AI 解决方案非常复杂。考虑到海量数据集和性能,找到和谐的平衡至关重要。ONNX Runtime 为我们提供了灵活性,可以将使用 Python 构建的 scikit-learn 模型打包,以无服务器方式将其部署到 Node.js 环境,并在云中以令人印象深刻的性能运行它。
-Matthew Leyburn,Bazaarvoice 软件工程师
Camo
ONNX Runtime 使 Camo Studio 能够快速准确地交付背景分割和特征检测等功能。它可以与我们现有的模型无缝集成,并让我们能够定位任何处理器,包括最新的 NPU,从而节省我们宝贵的开发时间,并让我们能够为所有用户带来创新功能。我们向任何希望简化模型部署并释放应用程序全部潜力的开发人员推荐 ONNX Runtime。
-Aidan Fitzpatrick,Reincubate 创始人兼首席执行官
Cephable
ONNX Runtime 允许我们同时定位支持 CPU、GPU 和 NPU 的设备。使用 ONNX Runtime 和 AI Hub 将模型转换为 NPU,将我们的工程工作量从 30 天减少到 7 天。鉴于当前的技术水平,今天可能只需要 3 天。这使我们能够为用户提供最先进的性能,最大限度地减少 AI/ML 工作负载在运行其他应用程序时的影响,并留出更多时间专注于功能工作。
-Jon Campbell,Cephable 工程总监
ClearBlade
ClearBlade 将 ONNX Runtime 与我们的企业物联网和边缘平台集成,使客户和合作伙伴能够使用他们想使用的任何行业 AI 工具构建 AI 模型。使用此解决方案,我们的客户可以使用 ONNX Runtime Go 语言 API 将任何模型无缝部署到远程位置或工厂车间的设备上运行!
-Aaron Allsbrook,ClearBlade 首席技术官兼创始人
Deezer
在 Deezer,我们使用 ONNX Runtime 为我们的流媒体服务中的音乐推荐提供机器学习驱动的功能。ONNX Runtime 的 C API 易于与我们的软件堆栈集成,并使我们能够以出色的性能运行和部署 Transformer 模型,以用于实时用例。
-Mathieu Morlon,Deezer 软件工程师
Goodnotes
感谢 ONNX Runtime Web,Goodnotes 已经无缝实现了 Scribble to Erase。Goodnotes 首个面向 Android、Windows 和 Web 的 AI 功能,交付闪电般的速度和令人难以置信的流畅用户体验。这真是游戏规则改变者!
-Pedro Gómez,Goodnotes 高级软件工程师
Hugging Face
我们使用 ONNX Runtime 在 Hugging Face 模型中心轻松部署数千个最先进的开源模型,并加速 CPU 和 GPU 上加速推理 API 客户的私有模型。
-Morgan Funtowicz,Hugging Face 机器学习工程师
Hypefactors
ONNX Runtime 为我们的许多自然语言处理 (NLP) 和计算机视觉 (CV) 模型提供支持,这些模型实时处理全球媒体格局。它是我们扩展生产工作负载的首选框架,提供了从内置量化工具到轻松实现 GPU 和 VNNI 加速等重要功能。
-Viet Yen Nguyen,Hypefactors 首席技术官
InFarm
InFarm 为智能农业提供机器学习驱动的解决方案,在各种硬件上运行计算机视觉模型,包括本地 GPU 集群、NVIDIA Jetson 等边缘计算设备以及基于云的 CPU 和 GPU 集群。ONNX Runtime 使 InFarm 能够标准化跨多个团队生成的模型的模型格式和输出,以简化部署,同时在所有硬件目标上提供最佳性能。
-Ashley Walker,InFarm 首席信息和技术官
Intel
我们很高兴在 Intel® Distribution of OpenVINO™ 上支持 ONNX Runtime。这加速了跨 Intel 硬件的机器学习推理,并使开发人员能够灵活地选择最符合其需求的 Intel 硬件组合,从 CPU 到 VPU 或 FPGA。
-Jonathan Ballon,Intel 物联网事业部副总裁兼总经理
Intelligenza Etica
我们使用许多堆栈和框架在各个市场和受监管行业集成 AI 模型,融合了研发和伦理。借助 ONNX Runtime,我们为客户首选技术(从云到嵌入式系统)提供最大化的性能和灵活性。
-Mauro Bennici,Intelligenza Etica AI 架构师和 AI 伦理学家
Navitaire
我们的客户遍布全球,我们看到越来越多的兴趣是部署更有效的模型,通过 ONNX Runtime 为定价解决方案提供支持。ONNX Runtime 的性能使我们有信心将此解决方案用于对事务量要求更高的客户。
-Jason Coverston,Navitaire 产品总监
NVIDIA
ONNX Runtime 使我们的客户能够轻松地将 NVIDIA TensorRT 的强大优化应用于机器学习模型,而无需考虑训练框架,并跨 NVIDIA GPU 和边缘设备进行部署。
-Kari Ann Briski,NVIDIA 加速计算软件和 AI 产品高级总监
Apache OpenNLP
ONNX Runtime 集成到 Apache OpenNLP 2.0 中,使得在 Java 生态系统中轻松使用最先进的自然语言处理 (NLP) 模型成为可能。对于已经使用 OpenNLP 的库和应用程序(例如 Apache Lucene 和 Apache Solr),通过 OpenNLP 使用 ONNX Runtime 提供了令人兴奋的新可能性。
-Jeff Zemerick,OpenSource Connections 搜索相关性工程师和 Apache OpenNLP 项目主席
Oracle
适用于 Java 的 ONNX Runtime API 使 Java 开发人员和 Oracle 客户能够无缝使用和执行 ONNX 机器学习模型,同时利用 Java 的表现力、高性能和可扩展性。
-Stephen Green,Oracle 机器学习研究组总监
Peakspeed
使用通用的模型和代码库,ONNX Runtime 使 Peakspeed 能够轻松地在平台之间切换,以帮助我们的客户根据其基础设施和需求选择最具成本效益的解决方案。
-Oscar Kramer,Peakspeed 首席地理空间科学家
Pieces.app
ONNX Runtime 为我们提供了一个专注于性能的轻量级运行时,但允许我们的 ML 工程师为手头的任务选择最佳框架和模型。
-Brian Lambert,Pieces.app 机器学习工程师
PTW Dosimetry
PTW 的使命是安全地保证放射治疗。然而,将 AI 模型从研究引入临床可能是一个挑战。这些是非常不同的软件和硬件环境。ONNX Runtime 弥合了差距,使我们能够为研究选择最佳工具,并确保部署到任何环境中都能正常工作。
-Jan Weidner,PTW Dosimetry 研究软件工程师
Redis
ONNX Runtime 支撑着 RedisAI 的独特能力,即在 Redis 内部无缝运行机器学习和深度学习模型推理。这种集成使数据科学家能够在他们首选的 ML 框架(PyTorch、TensorFlow 等)中训练模型,并从 Redis 中提供这些模型以实现低延迟推理。
-Sam Partee,Redis 应用 AI 首席工程师
Rockchip
通过对 ONNX Runtime 的支持,我们的客户和开发人员可以跨越模型训练框架的界限,轻松地在 Rockchip NPU 驱动的设备中部署 ML 模型。
-陈峰,Rockchip 高级副总裁
Samtec
我们需要一个运行时引擎来处理从数据科学领域到高性能生产运行时系统的过渡。ONNX Runtime (ORT) 简直‘开箱即用’。由于以前没有使用 ORT 的经验,我能够轻松转换我的模型,并在短短几个小时内拥有了以多种语言运行推理的原型。ORT 将是我在可预见的未来首选的运行时引擎。
-Bill McCrary,Samtec 应用程序架构师
SAS
ONNX Runtime 和 SAS Event Stream Processing 的独特结合改变了开发人员和系统集成商的游戏规则,通过支持灵活的管道,使他们能够为相同的 AI 模型定位多个硬件平台,而无需捆绑和打包更改。考虑到持续节省的额外构建和测试工作,这一点至关重要。
-Saurabh Mishra,SAS 产品管理高级经理,物联网
Teradata
Teradata 提供了一个高度可扩展的框架,可以导入和推理先前训练的机器学习 (ML) 和深度学习 (DL) 模型。ONNX Runtime 使我们能够扩展 Vantage Bring Your Own Model (BYOM) 的功能,并为数据科学家提供更多 ML 和 DL 模型集成、推理和 Teradata Vantage 生态系统内生产部署的选项。
-Michael Riordan,Teradata Vantage 数据科学和分析产品总监
Topaz Labs
ONNX Runtime 简单的 C API 与 DirectML 提供程序使 Topaz Labs 能够在短短几天内添加对 AMD GPU 和 NVIDIA Tensor Core 的支持。此外,我们的模型在 GPU 上的加载速度比任何其他框架都快得多。即使是我们参数约为 1 亿的较大模型也在几秒钟内加载完毕。
-Suraj Raghuraman,Topaz Labs AI 引擎主管
Unreal Engine
我们选择 ONNX Runtime 作为 Unreal Engine 的神经网络接口 (NNI) 插件推理系统的后端,因为它具有可扩展性,可以支持 Unreal Engine 运行的平台,同时使 ML 从业人员能够在他们选择的框架中开发 ML 模型。NNI 在 Unreal Engine 中实时评估神经网络,并作为游戏开发人员使用和部署 ML 模型来解决许多开发挑战(包括动画、基于 ML 的 AI、相机跟踪等)的基础。
-Francisco Vicente Carrasco,Epic Games 研究工程主管
美国农业部农业研究服务局
在美国农业部,我们在 GuideMaker 中使用 ONNX Runtime,GuideMaker 是我们开发的一个程序,用于设计大规模基因编辑实验(使用 CRISPR-Cas)所需的 guide RNA 池。ONNX 使我们能够使现有模型更具互操作性,而 ONNX Runtime 加快了 guide RNA 结合的预测速度。
-Adam Rivers,美国农业部农业研究服务局计算生物学家
Vespa.ai
ONNX Runtime 大大提高了 Vespa.ai 评估大型模型的能力,无论是在性能还是我们支持的模型类型方面。
-Lester Solbakken,Vespa.ai 首席工程师
Writer
ONNX Runtime 对我们在 Writer 优化生产模型非常有帮助。它使我们能够部署更强大的模型,并且仍然以客户期望的延迟交付结果。
-Dave Buchanan,Writer AI 和 NLP 总监
Xilinx
Xilinx 很高兴 Microsoft 宣布 Vitis™ AI 互操作性和对 ONNX Runtime 的运行时支持,使开发人员能够将机器学习模型部署到 FPGA IaaS(例如 Azure NP 系列 VM 和 Xilinx 边缘设备)进行推理。
-Sudip Nag,Xilinx 公司副总裁,软件和 AI 产品