许多企业在推出人工智能项目时都专注于计算能力和网络能力。但他们可能忽略了自己对海量存储需求的大局。
图源：OPTIMARC（图片上传者，可以译为用户OPTIMARC，或者OPTIMARC） / SHUTTERSTOCK
随着企业开始部署和使用人工智能，许多人意识到，他们将需要获得巨大的计算能力和快速的网络能力，但存储需求可能会被忽视。
一些人工智能和存储专家说，启动聊天机器人或应用人工智能助手不太可能对大多数企业的存储能力征税，但可以访问数百万个数据点的大型人工智能项目可能需要数TB的新存储，这可能会花费数千万美元。
Duos Technologies（是一家位于美国佛罗里达州杰克逊维尔的公司，专注于设计、开发、部署和运营智能技术解决方案，这些解决方案支持北美地区的铁路、物流、多式联运和政府客户，旨在简化操作、提高安全性和降低成本。公司提供包括企业信息管理软件平台Centraco和集成平台truevue360在内的多种解决方案，这些平台能够开发和部署实时应用的人工智能算法。Duos Technologies 还拥有专利应用，例如 Railcar Inspection Portal，它为铁路客户提供了在列车全速行驶时进行全自动轨道车检测的能力。此外，公司还开发了自动化物流信息系统/ALIS，使大型物流和多式联运设施的闸口操作自动化。还提供咨询服务，包括咨询和审计、软件许可、客户服务培训以及维护支持。）的首席技术官Jeffrey Necciai（杰弗里·内西亚伊）表示，存在几种存储选项，对于某些人工智能功能，云存储或传统硬盘可能就足够了。Duos Technologies使用人工智能和成像来检查运动中的火车。
但Necciai（内西亚伊）和其他专家表示，对于需要提供即时响应或信息的人工智能系统来说，距离人工智能工作负载位置数百英里的硬盘和云存储可能太慢了。
例如，Necciai（内西亚伊）说，Duos Technologies在轨道车被扫描后60秒内发出通知。在这种情况下，Duos需要与AI计算单元协同工作的超高速存储。
“如果你的轮子坏了，你现在就想知道，”他说，“我们不一定要在云中处理任何东西，因为很明显，我们不想要延迟。我们需要尽快公布这些信息。”
一、不仅仅是驱动器的大小
Necciai（内西亚伊）表示，考虑大型人工智能项目的企业需要同时考虑他们需要的存储量和他们同时处理多个任务的能力。
“对于多个线程，我们需要同时快速向存储中写入数据，对于多个线索，我们需要快速从故事存储中读取数据。”他补充道，“对我们来说，同时对存储进行操作的能力非常重要。”
去年，Duos扫描了850万辆轨道车，每次扫描可能生成1050多张图像。Duos Railcar Inspection Portal使用四个高性能存储阵列，每个阵列包含16个NVMe驱动器，总容量约为500 TB。
该公司还使用约25TB的更传统的存储空间用于内部培训和开发其人工智能，对即时结果的需求较小。“我们希望利用所有这些来做我们需要做的事情。”Necciai（内西亚伊）说，“这实际上归结为为正确的工作选择合适的工具。”
二、强烈的数据需求
与Duos一样，其他一些运行大型人工智能项目的企业也在转向高容量SSDs（Solid State Disk或Solid State Drive，固态硬盘，又称固态驱动器，是用固态电子存储芯片阵列制成的硬盘。）或NAND（Not AND，是一种闪存技术）闪存来满足其存储需求。
高速内存选项比硬盘贵得多，每GB的成本高达1000美元，但它们还提供了其他优势。例如，企业SSD制造商Solidigm的领导力营销高级总监罗杰·科雷尔表示，它们的能效几乎是服务器和硬盘机架的三倍，占用的空间也更少。
高速内存选项比hd要贵得多，每gb的成本高达1000美元，但它们还提供了其他优势。例如，企业SSD制造商Solidigm（是由韩国半导体供应商 SK 海力士株式会社/SK hynix Inc.成立的独立美国子公司。专注于数据中心NAND存储器市场，并将成为固态存储器客户的首选合作伙伴。）领导营销高级主管Roger Corell（罗杰·科雷尔）说，它们的能效几乎是服务器和硬盘机架的三倍，占用的空间也更少。
他说，随着企业应用更复杂、多模式的人工智能项目，越来越多的员工开始使用人工智能工具，对高容量、多线程存储选项的需求只会增加。
Corell（科雷尔）补充说：“人工智能在需要存储的数据量以及需要访问这些海量数据集的速度方面非常密集。”
此外，除了SSD或NAND选项外，一些公司还使用私有云或共置设施来满足他们的存储需求，MinIO（是一家提供对象存储解决方案的公司，专为人工智能/AI和机器学习/ML项目设计。它由Anand Babu Periasamy在2014年创建，是一个开源项目，拥有活跃的开发者社区，专注于提供高性能、高可靠性和灵活的对象存储服务。MinIO的对象存储系统以其轻量级、易于部署和强大的S3兼容性而闻名，支持各种规模的数据存储需求，从小型项目到大型企业级应用。MinIO支持在多种环境中部署，包括本地数据中心、公共云和混合云环境。它的轻量级特性简化了部署和管理过程，同时提供了高可用性和可扩展性。MinIO还提供了丰富的数据管理工具，以适应不同用户的需求。）首席技术官Ugur Tigli（乌古尔·蒂利）说，MinIO专注于人工智能和机器学习项目。
他说，采用人工智能的MinIO客户通常会将其存储容量增加4到10倍，他鼓励大规模人工智能用户将存储需求扩展到公共云之外，因为使用私有云或协同定位服务的成本可能比公共云低60%。
“在数百PB或一两EB的规模下，经济性在公共云中是行不通的。”他说，“根据容量、分层和数据访问配置文件的不同，每年的总成本将在数千万到数亿美元之间。”
Tigli（蒂利）补充道，企业用户可以自行构建私有云，并在需要额外的GPU使用时“爆发”到云端。他说：“关键在于计算是弹性的，但数据具有引力，并且以一种可预测的——尽管加速——速率增长，因此需要相应地进行架构设计。”
三、存储作为一个平台
数字化转型公司AHEAD的现场首席技术官Priyanka Karan（普里扬卡·卡兰）补充道，另一种选择涉及PB级存储平台。PB级存储平台“旨在减少数据移动的挑战，将数据从最初到达的地方转移到可以用于人工智能训练的地方，”她说，“我们的目标不是创建一个新的存储筒仓。”
她说，一些可用的存储平台是基于NAND闪存构建的，NAND闪存提供了高吞吐量和低延迟，这对于向GPU和TPU提供数据至关重要。
有几种选择，一些人工智能用户和专家表示，所需的存储量和类型取决于组织正在部署的人工智能项目。
Karan（卡兰）说，离线批处理的内存需求低于实时工作负载。她补充道，在某些情况下，辅助存储选项可用于保存训练和运行AI模型所需的大量数据。
选择正确的存储选项还取决于经常提到的数据重力——数据集的大小，是否可以将其移动到云端进行处理，或者对数据进行处理是否有意义。在一些人工智能项目中，数据存储与人工智能计算位于数据中心、另一个公共云中或创建数据的边缘。
企业还有许多其他因素需要考虑，包括安全性、监管或合规挑战。对于云存储，“网络、距离和延迟都是这些因素，但他们必须考虑额外的成本变量，”Karan（卡兰）说。
此外，除了存储器本身的成本外，还可能还有数据传输费、访问费和异地存储器的管理费。另一方面，本地存储选项可能包括大量的前期投资，以及维护、电力和冷却，还有员工工资。
Karan（卡兰）说：“组织必须评估他们的具体需求，包括性能、成本和可扩展性，为他们的人工智能计划选择最佳解决方案。”
作者：Grant Gross（格兰特·格罗斯）
Grant Gross（格兰特·格罗斯）是CIO的资深撰稿人，是一名长期的科技记者。他曾担任华盛顿记者，后来担任IDG新闻服务的高级编辑。在他职业生涯的早期，他曾担任Linux.com的总编辑和科技职业网站Techies.com的新闻编辑。在遥远的过去，他曾在明尼苏达州和达科他州的报纸担任记者和编辑。
译者：宝蓝
【睿观】大型人工智能项目对存储的需求概述
随着人工智能项目的实施，企业需要考虑巨大的存储需求。这不仅仅是存储容量的问题，还涉及存储速度、延迟和成本等因素。
（一）关键要点：
大型人工智能项目可能需要数TB的新存储，这可能会花费数千万美元。
一些人工智能和存储专家建议使用高性能存储选项，例如SSD或NAND闪存，以满足即时响应或信息的需求。
除了存储器本身的成本外，还可能还有数据传输费、访问费和异地存储器的管理费。
企业需要评估其具体需求，包括性能、成本和可扩展性，为其人工智能计划选择最佳存储解决方案。
（二）具体建议：
考虑同时需要存储大量数据并快速处理多个任务的能力。
评估数据重力——数据集的大小以及是否可以将其移动到云端进行处理。
考虑安全性、监管或合规挑战。
比较本地存储和云存储的成本和优势。
（三）案例研究：
Duos Technologies使用人工智能和成像来检查运动中的火车。他们使用四个高性能存储阵列，每个阵列包含16个NVMe驱动器，总容量约为500 TB。
MinIO是一家为人工智能和机器学习项目提供对象存储解决方案的公司。他们的客户通常会将其存储容量增加4到10倍。
AHEAD是一家数字化转型公司。他们建议使用PB级存储平台，旨在减少数据移动的挑战，并将数据从最初到达的地方转移到可以用于人工智能训练的地方。
随着人工智能项目的增长和复杂性的提高，对高容量、低延迟和可扩展存储的需求将会增加。企业需要仔细考虑他们的存储需求，选择最佳解决方案，以支持他们的AI计划。
