对象存储为什么能适合人工智能和机器学习

3836048 2020-06-10 | doc | 0.02 MB | 次下载 | 3积分

资料介绍

　　如今，各种类型的企业都致力于采用人工智能和机器学习项目，但要发挥其真正的潜力，则需要克服重大的技术障碍。虽然计算基础设施通常是重点，但存储设施也同样重要。以下是对象存储（而不是文件或块存储）适用在加强人工智能和机器学习工作负载的三个主要原因：

　　1.可扩展性

　　当有大量不同的数据源可供学习时，采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”（数量、类型、速度、准确性和价值）中，前两个（数量和类型）最为重要。简而言之，人工智能和机器学习依赖于大量不同的数据（图像、文本、结构化和半结构化数据）来构建有用的模型，提供准确的结果，并最终提供业务价值。

　　对象存储是很具扩展性的存储架构，特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长，从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间，因此也可以一次在多个地理位置上进行这种扩展。另一方面，文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多浪潮服务器计算资源来实现垂直扩展，这最终会受到限制。他们无法通过部署其他节点来增加计算资源，从而无法有效地水平扩展。

　　2. API

　　健壮灵活的数据API对于人工智能和机器学习非常重要，如上所述，它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外，人工智能和机器学习的创新越来越多地在公共云上进行，但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生，这取决于用例的具体情况（例如，科学研究和医疗保健等领域通常最适合私有云）。这意味着组织需要一个服务器硬盘存储API，以支持公共云和本地/私有云中的工作负载。

　　文件和块存储平台所支持的API受限制，部分原因是它们是较旧的架构。相比之下，对象存储使用云平台中固有的高级API，该API设计为以应用程序为中心，与文件和块存储相比，它支持范围更广的API，其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外，支持人工智能和机器学习用例的新对象存储API（例如对流数据的支持和对海量数据集的查询的支持）也是可能的。

　　通过围绕Amazon S3的对象存储API的标准化，可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能服务器和机器学习部署从内部部署/私有云环境扩展到公共云，或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境，而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

　　由于S3 API已成为对象存储的事实上的标准，因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具，以促进人工智能和机器移动学习社区中更快的开发。示例包括流行的机器学习平台，例如具有内置S3 API的TensorFlow和Apache Spark。