人工智能 频道

F5携手NVIDIA提升AI工厂经济效益,赋能加速AI推理

  基于NVIDIA BlueField DPU加速的 F5 BIG-IP Next for Kubernetes 实现更高Token吞吐、更低单Token成本,并支持安全的多租户AI基础设施,助力智能体时代下的AI工厂转型。

  西雅图-全球领先的应用交付和API安全解决方案提供商F5(NASDAQ: FFIV)日前宣布,进一步扩展与NVIDIA的深度合作,旨在加速并优化AI推理基础设施。

  此次升级整合了F5 BIG-IP Next for Kubernetes与 NVIDIA BlueField-3 DPU,构建出具备智能化与遥测感知能力的基础设施层。在提升GPU利用率的同时,该解决方案能够显著提升GPU利用率及Token吞吐量、降低时延,并支持在大规模环境下构建安全的多租户AI平台。

  在AI系统中,Token是衡量AI输出的基本单位,即在推理过程中生成和处理的词语、符号或数据片段。Token产出的规模与速度,直接决定了用户体验、基础设施效率以及单加速器的收益能力。

  随着企业与GPU即服务(GPUaaS)提供商加速推动AI商业化,并从实验阶段迈向规模化创收,基础设施效率正成为关键衡量指标。当前,行业衡量标准正从单纯的GPU部署规模,转向更精细化的Token经济指标,包括Token吞吐量、首个Token时间(TTFT)、单Token成本以及单GPU收入等。F5与NVIDIA的联合解决方案,正是围绕这些核心指标进行优化设计,助力客户实现AI投资回报最大化。

  通过智能化 AI 基础设施优化 Token 经济性

  从以应用为中心的推理转向由智能体驱动的AI工作流,迫切需要新的架构设计,以提升token吞吐效率并降低成本。F5 BIG-IP Next for Kubernetes现已深度集成NVIDIA NIM 统计数据、Dynamo运行时信号以及GPU遥测信息,实现在推理执行前即可进行感知推理状态的流量调度决策。通过实时将工作负载匹配至最合适的加速器资源,该解决方案在提升持续利用率的同时,有效降低推理时延与重复计算。

  F5首席产品官Kunal Anand表示,“AI基础设施已不再只是获取GPU资源或扩大部署规模,而是演进为如何最大化单块加速器所产生的经济价值。通过与NVIDIA的合作,我们助力AI工厂将Token产出转化为可量化的业务指标。BIG-IP Next for Kubernetes提供所需的智能调度与治理能力,帮助企业提升GPU产出效率、降低单Token成本,并更自信地扩展共享型AI平台。”

  经验证的基础设施效率提升:结构性跃迁

  性能数据充分印证了这一点。在The Tolly Group的验证测试中,基于NVIDIA BlueField-3 DPU加速的F5 BIG-IP Next for Kubernetes,实现了最高达40%的Token吞吐提升、首个Token时间加快61%,以及整体请求时延降低34%。

  这并非渐进式优化,而是架构层面的效率跃迁。通过将网络处理、TLS/加密、AI感知负载均衡及流量管理等任务卸载至NVIDIA BlueField-3 DPU,BIG-IP Next for Kubernetes能够有效释放主机CPU资源,并让GPU专注于其核心职责,即在大规模场景下执行持续、高吞吐的AI推理计算。这一架构实现了GPU利用率显著提升、排队延迟减少,以及Token产出能力增强,从而在固定基础设施规模下实现更低的单Token成本。更为关键的是,这一系列性能提升无需对模型本身进行任何修改,可直接应用于现有AI工厂基础设施。对于在Token经济学赛道展开竞争的企业及NeoCloud服务提供商而言,这意味着从限制AI产出的基础设施,迈向加速AI产出的关键转变。

  NVIDIA网络业务高级副总裁Kevin Deierling表示,“NVIDIA加速计算基础设施与F5具备AI的应用交付与安全平台相结合,能够显著提升AI工厂的Token 经济效益,并在无需修改模型的前提下,实现可扩展且具备成本效率的推理能力。F5与NVIDIA正携手助力企业以更高效、更经济的方式扩展AI工厂推理能力。”

  面向智能体驱动AI与多租户平台构建

  现代AI工作负载正日益呈现出智能体驱动、持久化与上下文感知。这类新型负载对流量调度提出了更高要求,传统负载均衡已难以胜任。F5 BIG-IP Next for Kubernetes增强版现已支持以下核心能力:

  • 面向智能体AI工作流的推理感知路由。

  • 集成NVIDIA DOCA Platform Framework(DPF),简化NVIDIA BlueField DPU的部署与全生命周期管理。

  • 基于EVPN-VXLAN与动态VRF的网络级多租户隔离能力。

  • 在Kubernetes AI环境中内建安全能力、Token治理与可观测性。

  这些能力赋能企业与NeoCloud服务提供商能够在共享 GPU 基础设施的同时,实现跨业务单元或外部客户的安全隔离,在保障性能隔离性的前提下,维持可预测的服务水平。

  面向AI工厂经济学的控制平面

  F5与NVIDIA为企业提供经过验证的工具与最 佳实践,助力优化推理架构。基于上述能力升级,F5 BIG-IP Next for Kubernetes正在演进为AI工厂经济学的战略级控制平面,实现治理Token消耗、优化流量路径,并最大限度地提升基础设施的投资回报率(ROI)。

  基于此,企业无需再通过过度资源预留来弥补效率损耗,而是能够从现有已部署GPU资源中释放更高的经济价值。由此带来一系列关键业务收益,包括:单GPU收入提升、运维成本降低,并能构建起支撑持续增长的可扩展AI服务。通过深度融合NVIDIA的基础设施遥测与DPU加速能力,以及F5在流量智能与安全领域的核心优势,双方正助力企业将AI工厂从计算资源平台转化为高效、可变现的业务平台,从而为智能体时代做好充分准备。

  附加资源

  • 博客文章:AI工厂需要智能化基础设施:The Tolly Group最新测试结果深度解析

  • 技术报告:The Tolly Group独立测试报告:F5 BIG-IP Next for Kubernetes性能验证全记录

  关于F5

  F5(纳斯达克股票代码:FFIV)是全球应用交付和应用安全领导者。凭借三十载的技术积淀,F5构建了业界领先的F5 应用交付和安全平台(F5 Application Delivery and Security Platform, ADSP),全面覆盖本地、云、边缘以及多云混合环境,以随时随地,保护、交付、优化任何应用和API。F5始终秉持创新精神,并与全球最具影响力的企业紧密携手,共同打造快速、稳定且安全的卓越数字体验。让我们携手共赢,打造更美好的数字世界。

  F5,BIG-IP,以及NGINX是F5, Inc.在美国和其他国家/地区的商标或服务标志。本文中的所有其他产品和公司名称可能是其各自所有者的商标。本新闻稿中所述的合作关系,不代表F5与NVIDIA之间存在合资企业、法定合伙关系或代理关系。

  如想浏览更多信息,请访问F5中文官网:www.f5.com.cn/。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章