前言,最近不少朋友找我咨询或者私信讨论,其中和GPU服务器产品相关的占大多数,智算产业发展带动了GPU服务器市场的繁荣,我把大家经常讨论的GPU服务器相关问题(或话题)简单做了梳理,筛选了其中我认为比较有代表性的十条通过十问十答的形式给大家做个分享,包括了GPU服务器的产品形态(品类)、品牌情况、应用场景、整机价格(主要机型)、市场规模、客户群体(Top行业)、整机功率、机柜部署(现状)、国产平台(发展情况)和液冷落地(现状)共10项,提前声明个人观点,水平有限仅供参考!
一、什么是GPU服务器,具体有哪些产品类型
“GPU服务器”顾名思义是为了支持更多GPU数量、适配更多GPU卡类型、满足各类GPU算力场景的服务器“产品”,核心参数就是“能装”多少张GPU卡,我们常见的有4U4卡、4U8卡、4U16卡、4U20卡、6U10卡等,我之前写过2篇公众号文章如下,详细介绍了GPU服务器支持的“卡数”由什么因素决定,大家若想进一步了解,可以点击下面链接查阅。
从GPU产品类型来说,市场主流出货机型有搭配HGX模组的高端训练机型(如H100 NVLink整机)、也有搭配RTX4090出货的4U8卡机型,每个厂商对GPU服务器的布局也有所差异,下图是我们公司(超云)结合AI大模型的规模以及训练&推理需求进行的GPU服务器产品形态分类,仅供大家参考,需要说明的是下图仅列举了部分型号,还有6U8卡(支持8卡四宽GPU)机型、4U16卡&20卡(支持单卡推理)机型、国产CPU平台的机型以及液冷+GPU的机型等并未列出。
二、GPU服务器的品牌情况
最近找我问GPU服务器品牌情况的朋友挺多,H系列整机和PCIe的八卡机对应的品牌也有区别,我们按照这两个主流机型进行展开。
1、H系列整机品牌:国外品牌最出名肯定是超微了,其次还有HP、Dell等,中国(台湾地区)品牌有技嘉、华硕等,中国大陆有浪潮、H3C、联想、宁畅、超聚变、超云等(OEM)品牌,经常听到的还有华勤(ODM为主),当然英伟达自己也推出自有品牌的DGX H100等,市场上见到的并不多。
2、PCIe机型的品牌:相比与H系列门槛比较低,产品形态也更多,品牌多到眼花缭乱,除了我们能叫得上名字的国内外大厂,新晋品牌靠着GPU市场火爆也营收不少(我思考再三,还是决定用公司首字母代替吧),除了上面提到的H系列整机品牌外,上了IDC 2024H的GPU服务器榜单的有AQ、KQ、BD、ZX、STHL等、还有很多在区域卖的也不错的比如深圳的ST、上海的PS等,还有太多品牌了,欢迎大家评论区补充。
三、GPU服务器的应用场景有哪些
既然GPU服务器卖的这么火爆,除了AI大模型的训练和推理会用到外,还能做什么呢?这也是一个朋友找我咨询的,下图是我个人整理的5个方面,智算中心采购大量的GPU服务器,除了可用于AI相关的场景外,还有HPC高性能计算、图形渲染、视频编解码和云游戏等。
英伟达GPU的特殊应用场景:显卡挖矿,这个领域比较敏感,我说多了不好(很多中大型的智算中心算力租赁明令禁止“挖矿”的行为,一旦发现就会采取限制措施,但很多小的所谓的“智算中心”与其4090机器闲置,不如“创造短期内”的价值,尤其是那些希望“短期回本”的大家懂的),据悉在曾经的一段时间内,英伟达业务不景气时是靠着众多“矿工&矿场”让英伟达坚持了下来。
四、GPU服务器的整机价格如何
GPU整机价格的波动是市场供需关系的直观“体现”,目前4090八卡机的单价大概在22-25w的范围,H100的整机价格大概在220-240w的范围,当然很多朋友会说你这个价格不准,其实影响价格的因素很多,我之前专门写过两篇公众号文章,从个人角度分析了H100和4090机型价格差距比较大的原因,大家如果想进一步了解,欢迎点击下面链接查看。
五、GPU服务器的市场规模情况如何
大家都看到了,GPU服务器需求的爆发给原本“已入冬”的服务器市场带来了新的增长点,毫不夸张的说某些“掌握核心科技”的国内服务器大厂,今年能够完成业绩目标一半以上的功劳要归于GPU机型业绩增长。
根据IDC上半年国内加速服务器市场报告内容,24年我国GPU类服务器市场规模出货量预计超40w台,市场规模预计超过100亿美元。预测和实际肯定是有出入的,仅供大家参考(下图源自IDC 2024H1报告的市场预测)。
未完待续,下篇将围绕GPU服务器市场的客户群体(Top行业)、整机功率、机柜部署(现状)、国产平台(发展情况)和液冷落地(现状)内容展开,敬请期待。