EN
提示
机器学习解决方案

随着计算机软硬技术的发展,尤其是GPU运算能力的大幅提升,提高了计算基础设施能力,同时,互联网的高速发展产生了大量的数据资源,再加之算法技术的更新,使人工智能进入了发展“快车道”。通过核心技术手段,机器学习训练出的人工智能在图像识别、语音识别等领域已经有了超过人类的表现。人工智能正在金融、交通、医疗、互联网等众多行业中发挥作用。杉岩机器学习解决方案为AI企业提供全流程数据统一管理能力,更加高效便捷地辅助AI训练,让企业先人一步提升行业竞争力,从而为社会创造更大价值。

客户需求
数据量大,迁移成本高
AI训练的准确性是以数据量为基础,海量的原始数据无法在产生之后立即参与训练,当前数据分离为在线数据与离线数据,两套数据分别存储在不同的数据系统中,这导致每次真实的训练,都需要将大量的数据从离线数据系统迁移到在线系统,增加数据的迁移成本以及存储空间成本。
数据孤岛,安全风险大
AI训练中数据可大致循环为四个阶段:数据集中与归档、数据准备、数据训练、数据推理。当前AI训练系统为了满足各个阶段例如高性价比、海量小文件、数据标签与检索、高吞吐低时延等不同需求,部署了多套存储系统,形成数据孤岛,增大数据交互成本的同时,也增加了数据安全风险。
数据准备处理繁杂,单一存储很难满足
数据准备阶段可分为清洗、标注、质检过程,其中标注过程最为繁杂。以图像文件为例,当前标注结果文件(通常为Json格式文本)如果跟图片存储在一起会极大地增加NAS存储的负载,且不利于检索;如果引入NoSQL数据库存储,则整体框架变得复杂。
数据读取效率低,训练周期长
在数据训练阶段,海量文件的反复读取效率决定了整个训练的周期长短,然而在海量小文件的读取场景下,普通的存储系统难以满足训练平台的高吞吐、低时延的需求。
方案介绍

杉岩通过具备丰富的能力扩展特性的对象存储系统,推出机器学习存储解决方案,提供AI训练全流程数据的统一管理,且针对AI训练各流程需求做了能力扩展适配,让AI训练更加高效便捷。杉岩的智能化对象存储基于x86服务器构建,支持空间扩容管理PB级别数据,保证海量数据的存储;提供文件网关能力,支持对象接口与文件接口的互通访问,保证常用AI训练框架对数据不同形式的访问;通过客户端的智能缓存特性,为数据训练阶段提供了高性能的读取能力;另外杉岩智能化对象存储还内置文件标签检索能力,以及可插拔的图像基本处理能力,能更好地配合AI训练的数据准备流程。

客户价值
  • 全流程数据统一

    降低AI平台存储系统的管理成本

    打通AI训练的各数据阶段的壁垒,让流程切换更顺畅

    提高存储空间的有效利用率,降低成本

  • 训练周期更短

    对象标签特性完美适配数据准备工作

    对象与文件接口互通,避免各阶段的数据迁移

    标准接口支持,减少AI训练开发存储适配工作

    智能缓存增强训练数据读取性能,AI训练周期短

  • 数据高效更迭

    支持冷热分层,降低数据存储成本

    支持数据生命周期管理,在线数据与离线数据自动切换

    支持数据缓存锁定,提升高价值数据性能

  • 数据更安全

    副本与纠删码机制,保证数据存储完整持久化

    完善的权限管理,保证用户数据隔离

    支持多数据中心读写,数据中心故障自动切换

联系

我们

400-838-3331

在线

客服