- 新闻
- 智能存储界的“应用市场”，今天它来喽！
智能存储界的“应用市场”，今天它来喽！
公司动态
发布于2021-07-16
在数据海量增长和产业+数据浪潮地推动下，企业需要在各类场景下高效存储和使用数据，对存储系统的要求也从简单的数据存储和管理，提升到了对数据的价值挖掘。特别是在AI，大数据应用开始在行业市场逐步普及的当下，产生了更多的视频、图片等非结构化的元数据，如何高效使用数据是目前急需解决的问题。
当然，企业常规的存储架构下，也可以实现“数据应用”目的，但是由于存储系统与计算系统分离，当需要进行数据计算时，需要先检索元数据，在存储系统中把文件调用出来，传输到计算系统中进行计算，最后的计算结果再传输到上层应用中进行处理，或者返回存储平台中保存下来。
若依此架构，企业就需要购买和运维两套系统，给计算功能分配专用算力，占用额外资源，增加企业成本。并且平台间接口众多，编程复杂，数据在各个系统中多次流转，极大降低了数据的使用效率。
有没有更高效的方案可以解决此类问题？
杉岩数据作为一家软件定义存储企业，创新性的提出了智能数据处理引擎的概念。在计算机的世界里，所有应用最后一定是基于结构化数据进行数据计算，所以AI等功能实现一定要将非结构化数据转化为结构化数据。
杉岩数据提出的智能数据处理引擎理念就好比我们手机的应用商城，当企业需要某类数据处理应用时，可以将对应插件在杉岩数据的存储平台上安装，在存储侧将原始数据转换为应用可以直接使用的结构化数据。这样不需要增加额外的计算平台，有效控制企业的系统建设成本。
企业不仅可以根据数据应用习惯，按需增加常用的智能插件，也可以根据业务形态的变化，变更智能数据处理应用，不额外占用存储空间， 系统中能够直接实现计算功能，避免数据在各个系统中多次传输，就能大大提升数据的使用效率，减少资源浪费，数据应用更加简便、快捷。
这个创新并不只是一个设想，目前杉岩数据对象存储V6版本中已经拥有了该功能。目前可安装的智能插件就包括证件识别、图片格式压缩/转换、PDF文件检索、文件名解析等。
实施案例
信维通信
解析图片，个性化标签存储文件，定制化高性能数据检索
信维通信是世界领先的泛射频元器件提供商。手机品牌客户要求在质检中产生的检测图片，必须进行长期保存，至少半年以上。杉岩对象存储系统通过内置AI智能数据处理引擎，结合解析插件将图片进行文件名解析，并依据解析结果将图片打上定制标签，实现基于标签检索图片的功能，如用时间戳、机台号、SN小条码号，故障描述等标签分类存储图片，满足MES系统定制化检索的需求。MES系统的检索效率提升10倍，检索速度由秒级提升到毫秒级。相比SAN或者NAS存储，总成本降低了50%。
联测优特半导体
自动标签图片，建立索引
可视化检索，百亿级文件秒级检索
影像数据转码，降低至20%存储空间
联测优特半导体（东莞）有限公司是全球半导体封装测试行业的领军企业。过去生产制程的图片数据存储在质检服务器的本地硬盘中，数据是分散管理模式。杉岩MOS海量对象存储系统内置智能数据处理引擎，将生产机台生成的BMP格式文件，数天后转换为JPG格式以节省存储空间，高性能实时转码影像数据成本大大降低，处理后的存储容量需求下降为原始需求的20%
同时，存储系统自动给图片打上产线号、工序号、芯片ID等标签，并建立索引，提供数据的标签管理和检索服务，用户可按需进行可视化检索，百亿级文件秒级检索。
某动力研究机构
OCR识别插件，识别PDF内容
某动力研究机构是国家级动力试验研究中心 。该单位档案扫描件多是PDF格式，业务端无法基于PDF中的文字内容进行检索，查阅资料不便。通过杉岩MOS智能数据处理引擎集成的OCR识别插件，该单位可以根据需要设定文件处理策略，存储自动调用OCR识别功能，将单层PDF文件（文字不可读取）转为双层PDF文件（文字可读取），然后基于文字内容建立全文索引，方便快速检索查阅，充分发挥档案资料的知识价值。
虹软科技
视频抽帧，支持深度应用，图片缩略，轻松预览导航
虹软科技股份有限公司是计算机视觉行业领先的算法服务提供商及解决方案供应商，其视觉人工智能算法广泛应用于多家全球知名品牌手机。虹软拥有一套数据管理核心系统，针对海量视频及图片文件进行存储，公司各部门员工通过客户端对视频、图片进行查询和预览过程时，需要下载源视频、源图片，由于视频及图片较大，占据大量带宽，影响客户端并发预览及AI训练效率。
杉岩对象存储智能处理解决方案为客户提供图片处理，图片处理插件通过对源图片进行缩略处理，提供一定的预览功能，通过这些图片作为使用时的导航。视频截帧插件在源视频连续变化的画面中抽出单幅画面，并自定义设置后缀名称进行保存，抽帧后的图片可用于制作视频封面、视频审核、行为识别、视频结构化等场景。这样避免了客户端预览时下载源图片、源视频数据，获得更好的数据访问及处理效率。使用智能数据处理引擎可以提升服务器的利用价值，充分发挥出硬件剩余性能，降低整体业务成本。
杉岩数据智能数据处理引擎上的插件采用开放式的可插拔式设计，系统可以随时安装和卸载插件，可以根据用户的需求和数据使用习惯，支持与第三方智能处理软件厂商合作，灵活开放地接入更多优秀的数据处理能力，开发企业专属的数据应用功能。
智能处理引擎的诞生是杉岩数据与企业需求共创的结晶，杉岩数据持续不断地升级技术，并且不断提升自身对用户需求的洞察力，杉岩数据认为有价值的存储系统一定不是“炫技式“堆砌先进技术，从用户需求出发，帮助客户最大化地挖掘数据价值，技术与客户洞察结合，才能诞生出优秀的存储产品。
分享至：
