机器学习解决方案_机器学习数据存储

随着计算机软硬技术的发展，尤其是GPU运算能力的大幅提升，提高了计算基础设施能力，同时，互联网的高速发展产生了大量的数据资源，再加之算法技术的更新，使人工智能进入了发展“快车道”。通过核心技术手段，机器学习训练出的人工智能在图像识别、语音识别等领域已经有了超过人类的表现。人工智能正在金融、交通、医疗、互联网等众多行业中发挥作用。杉岩机器学习解决方案为AI企业提供全流程数据统一管理能力，更加高效便捷地辅助AI训练，让企业先人一步提升行业竞争力，从而为社会创造更大价值。

客户需求

数据量大，迁移成本高

AI训练的准确性是以数据量为基础，海量的原始数据无法在产生之后立即参与训练，当前数据分离为在线数据与离线数据，两套数据分别存储在不同的数据系统中，这导致每次真实的训练，都需要将大量的数据从离线数据系统迁移到在线系统，增加数据的迁移成本以及存储空间成本。

数据孤岛，安全风险大

AI训练中数据可大致循环为四个阶段：数据集中与归档、数据准备、数据训练、数据推理。当前AI训练系统为了满足各个阶段例如高性价比、海量小文件、数据标签与检索、高吞吐低时延等不同需求，部署了多套存储系统，形成数据孤岛，增大数据交互成本的同时，也增加了数据安全风险。

数据准备处理繁杂，单一存储很难满足

数据准备阶段可分为清洗、标注、质检过程，其中标注过程最为繁杂。以图像文件为例，当前标注结果文件（通常为Json格式文本）如果跟图片存储在一起会极大地增加NAS存储的负载，且不利于检索；如果引入NoSQL数据库存储，则整体框架变得复杂。

数据读取效率低，训练周期长

在数据训练阶段，海量文件的反复读取效率决定了整个训练的周期长短，然而在海量小文件的读取场景下，普通的存储系统难以满足训练平台的高吞吐、低时延的需求。

方案介绍

杉岩通过具备丰富的能力扩展特性的对象存储系统，推出机器学习存储解决方案，提供AI训练全流程数据的统一管理，且针对AI训练各流程需求做了能力扩展适配，让AI训练更加高效便捷。杉岩的智能化对象存储基于x86服务器构建，支持空间扩容管理PB级别数据，保证海量数据的存储；提供文件网关能力，支持对象接口与文件接口的互通访问，保证常用AI训练框架对数据不同形式的访问;通过客户端的智能缓存特性，为数据训练阶段提供了高性能的读取能力；另外杉岩智能化对象存储还内置文件标签检索能力，以及可插拔的图像基本处理能力，能更好地配合AI训练的数据准备流程。