生成性人工智能系统需要GPU吗?
通常,我通过在记者问我的问题中寻找常见模式来了解趋势。在许多情况下,它们比我更能与市场联系,而且它们是一个很好的数据点。接听我接到的关于如果图形处理单元(GPU)短缺可能会出现的问题的电话。
首先,如果真的发生这种情况,它不太可能持续太久。其次,应该考虑其他可行的选择。当然,这个角度是厄运和阴郁的,人们担心如果企业无法获得这些处理器,无论是用于本地系统还是在云端和按需使用,他们将无法利用生成性人工智能革命。
假问题?
我是第一个承认生成性人工智能系统是复杂且处理器密集型的人。因此,假设是,他们必须依靠高度专业化的硬件来执行曾经是人类想象力专属领域的任务。人们认为,生成性人工智能需要GPU,甚至更专业的处理,如量子计算。
这些假设总是正确的吗?这是另一个以非常专业的价格需要专用组件的专用系统吗?
GPU最初是为在视频游戏中渲染图形而开发的,但由于其高度并行结构,它已成为人工智能的工具。他们可以同时执行数千次操作。这与神经网络所需的任务完全一致,神经网络是生成人工智能的关键技术。这是设计和构建生成性人工智能系统的人(像你一样)应该仔细考虑的技术事实。
另一方面,张量处理单元(TPU)是谷歌为TensorFlow明确设计的定制开发、特定于应用程序的集成电路。TensorFlow是一个开源机器学习框架,已经存在了一段时间。TPU有助于机器学习过程,因为它们是为向前和向后传播量身定制的。这些是用于训练神经网络的过程。在成本方面,我不认为TPU像GPU那样是一个问题。然而,它们经常被绑在一起,所以这里值得一提。
构建和部署这些系统的人知道,无论您使用什么人工智能框架,大部分处理和时间都花在从数据堆和堆中训练模型上。例如,考虑OpenAI的GPT-4或谷歌的BERT模型,它们有数十亿个参数。在没有专业处理器的情况下训练此类模型可能需要不切实际的时间。
总是需要专门的处理器吗?
GPU极大地提高了性能,但它们的成本很高。此外,对于那些跟踪碳点的人来说,GPU消耗了大量电力并产生相当大的热量。性能提升是否证明成本是合理的?
CPU是计算机中最常见的处理器类型。它们无处不在,包括你用来阅读这篇文章的任何东西。CPU可以执行各种任务,与GPU相比,它们的内核数量较少。
然而,他们拥有复杂的控制单元,可以执行广泛的指令。这种多功能性意味着他们可以处理人工智能工作负载,例如需要利用任何类型的人工智能的用例,包括生成性人工智能。
CPU可以对新的神经网络架构或测试算法进行原型。它们足以运行更小或不太复杂的模型。这就是许多企业现在正在构建的(并将持续一段时间),CPU足以满足我目前听到的用例。
你真的需要付多少钱?
对于资源有限的小型组织或个人来说,CPU在初始投资和功耗方面更具成本效益。然而,即使对于拥有大量资源的企业来说,它们可能仍然是更具成本效益的选择。
此外,人工智能正在发展。随着人工智能算法的最新进展,出现了SLIDE(亚线性深度学习引擎)等新发展。这项技术声称在特定条件下,在CPU上比在GPU上训练深层神经网络的速度更快。他们正在使用散列技术并降低内存访问成本。
此外,考虑现场可编程门阵列(FPGA)。这些处理器可以在制造后进行编程,以更有效地执行特定任务,如人工智能。此外,关联处理单元(APU)专门从事模式识别,可以处理关联内存任务,使某些类型的神经网络应用程序运行得更快。
在许多情况下,非GPU处理器的成本效益要高得多。那么,当涉及到生成人工智能或只是一般的人工智能时,为什么答案总是GPU呢?我不确定是否需要。
我怀疑企业将比他们需要多花费数百万美元,因为他们认为成本证明绩效收益是合理的。这既是公共云、本地和边缘计算机中的GPU处理消耗。
这里的注意事项不是限制GPU的使用,而是考虑您在特定用例中真正需要什么。大多数生成的人工智能应用程序将是小型战术部署,真的不需要GPU的成本和碳影响。
系统架构师、云架构师和现在的生成性人工智能架构师的核心工作是找到最具成本效益的解决方案。哪种技术配置的成本最低,同时提供最大的商业价值?也许生成性人工智能是即将到来的新发展的一个领域,我们可以在那里做出更好、更务实的选择。不要只是追随炒作。