人工智能正在改变存储基础设施所需承担的角色。过去,大部分基础设施主要围绕模拟计算和长期存储来构建。而现在,人工智能系统需要持续、实时地访问海量科学数据。
因此,存储在科学计算环境中的作用正在发生变化。许多传统的研究存储系统从未针对这种持续检索和大规模人工智能访问进行过设计。
十年前的基因组学档案可能包含对基础模型极为宝贵的训练素材。然而,保持这些数据的持续可用正变得越来越困难。
过去的工作方式是:研究人员运行模拟,生成输出数据,归档结果,然后在后续需要时进行检索。存储系统更注重容量和保存,而不是持续的可访问性。
一旦模拟完成或研究论文发表,大部分数据就会被转移到较冷的存储层,在那里长期保留。而现在,这一切正在改变。
为什么科学领域如此强调快速访问和实时数据?因为现代人工智能系统需要这些。人工智能系统会不断返回并反复提取科学数据集,而不是偶尔访问。那些多年未被触及的数据,现在为了模型训练和分析而需要被快速访问。
您是否好奇,为什么在人工智能热潮期间,存储供应商再次成为投资者和股票市场的焦点?这也是西部数据(Western Digital)在一年内股价上涨近900%的部分原因。当然,这波热潮还有其他推动因素,包括云计算和超大规模支出的激增。
每个人都首先关注英伟达(Nvidia),因为GPU是显而易见的瓶颈。但在幕后,人工智能也创造了巨大的存储需求——因为这些模型需要庞大的数据集和检查点(checkpoints)。
这种转变已经迫使整个存储行业做出改变。传统上专注于容量和长期保存的供应商,如今正越来越多地围绕人工智能工作负载进行重新定位——这类工作负载需要更快的检索、更高的吞吐量和持续的可访问性。
随着人工智能系统生成海量数据,西部数据越来越强调人工智能数据基础设施和超大规模存储需求。希捷(Seagate)同样专注于高容量的热辅助磁记录(HAMR)驱动器,旨在支持不断增长的人工智能和云存储工作负载。
与此同时,像VAST Data和DDN这样的公司,正越来越多地将存储系统定位于支持人工智能规模的检索和持续的数据可访问性,而不仅仅是长期保存。
对于科学组织来说,克服存储挑战是一项艰难的平衡行动。较旧的研究档案是建立在“检索频率低、使用冷存储层”这一假设之上的。人工智能彻底改变了这些假设。曾经主要作为历史记录的科学数据,正日益成为人工智能训练和科学发现的主动基础设施。
人工智能驱动的科学计算环境中的另一个主要挑战是冷热存储管理的重要性日益上升。传统上,较旧的科学数据集可以被转移到冷存储层,因为在模拟完成或论文发表后,检索频率相对较低。
人工智能彻底改变了这一模式。较旧的基因组学记录、气候模拟结果、显微镜图像,甚至卫星数据集,现在可能需要保持更易于访问的状态,因为人工智能系统会为了训练和分析而不断重新访问它们。曾经主要作为存档历史记录的数据,如今变成了关键的操作性资产。
科学组织需要持续访问大量的研究档案。但这会显著增加基础设施、存储和电力成本。与此同时,将过多数据推入冷存储层可能会拖慢那些依赖快速检索和持续数据移动的人工智能工作负载。