自动驾驶“AI大脑”升级背后，海量数据如何实现高效“存-管-用”？

近日，北京成为国内首个开启乘用车无人化运营试点的城市，自动驾驶商业化运营再度按下“快进键”。

近年来，政策的屡屡破冰、大量资本及跨界造车新势力的加速融入，都极大推动了自动驾驶商业化落地进程。有研究机构预测，预计到2025年，全球约30%的销售汽车将支持L2级或以上的自动化。

自动驾驶系统的升级离不开对驾驶决策“AI大脑”的持续迭代，要获得高等级的自动驾驶能力，自动驾驶科技企业需要持续不断地进行AI训练。为充分发挥算法算力的优势，优化自动驾驶模型，生产商需要收集、分析和处理更多的数据，这其中，涉及海量数据的存放和使用的存储系统又该如何升级？

自动驾驶系统的研发需要经过数据采集、数据汇聚、清洗标记、模型训练、模拟仿真、大数据分析等多个环节，期间涉及对海量数据的汇聚存储，不同环节不同系统之间的数据流转，以及模型训练时对海量数据的读写，最终形成一个高度精准的数据处理模型，从而实现自动驾驶。这其中，数据存储挑战也随之而来。

图 自动驾驶研发流程

为感知周围环境，自动驾驶汽车加装摄像头、雷达等多种传感器设备，并生成大量数据。一些高等级自动驾驶系统甚至配置超过50个各类传感器，对车辆周边360°环境准确感知。

图 自动驾驶汽车环境传感器示意

而自动驾驶科技企业一般拥有多辆路测车辆的自动驾驶测试车队，每日生成数十TB数据，数据总规模达到数十PB甚至上百PB，其中包含几十亿小文件且数据类型多样。自动驾驶汽车，正在变成车轮上的数据中心，如何汇聚、存储如此巨量的数据并进行成本优化？

整个自动驾驶研发流程中涉及多个环节，数据前后关联且访问协议不同。数据流程的不同阶段，通常会使用到文件、对象和大数据(HDFS)等服务，不同环节的性能模型差异大。如何保证平滑流动，并实现高效处理？

模型训练环节，需要频繁在存储设备中读写数据，对存储系统性能要求较高。原始模型开发的过程中需要调用TB级的图片数据集，且模型在开发的过程中也会产生很多中间数据需要存储，而系统瓶颈一般会在数据存取性能上。因此，存储的分布式文件系统就极其关键，尤其是元数据处理的能力。

在试图破解以上难题时会发现，传统NAS存储存在性能瓶颈，且容量和性能不支持弹性扩展；对象存储缺少完整POSIX语义支持、元数据性能弱，不适用于自动驾驶的海量小文件训练场景。同时，在为自动驾驶选择存储方案时，还得考虑人工智能、模型训练环节的使用习惯。因此，单一存储方案无法很好地满足需求。

如何“智”赢未来，破解存储难题，让自动驾驶汽车的量产“指日可待”？

针对自动驾驶场景的存储需求，杉岩数据软件定义存储方案，采用对象存储+分布式文件的方式，结合丰富的数据管理功能，打造覆盖自动驾驶所有工作流，并全面平衡性能、容量、扩展性和易用性的内容管理平台。方案以杉岩数据自研的分布式存储为底座，结合对象存储网关与高性能分布式文件存储网关，提供各种协议接口，充分满足自动驾驶场景的存储需求。

图 杉岩数据存储方案助力自动驾驶

面对庞大的数据量，杉岩数据自动驾驶存储方案选择以对象与文件统一的非结构化数据存储平台为底座，采用全对称、去中心化的分布式架构，存储容量可达EB级别，百亿文件存储依然高性能，对于雷达和摄像头等传感器生成的海量小文件数据天然契合；满足训练时多并发、高带宽和低时延读写；支持业务在线时存储服务器横向扩容及整池扩容，不影响AI模型训练进程，存储系统强大的扩展能力与线性增长的性能，可以充分满足自动驾驶迅速增长的非结构化数据存储需求。

杉岩数据提供数据汇聚工具DataIngestor。多个路测车辆的数据挂载在数据中转服务器上，DataIngestor可基于统一的管理入口，对多个数据中转服务器进行数据传输任务管理，对本地文件全量和持续增量上传管理，不再需要改造业务软件或开发数据管理工具。DataIngestor提供可视化的任务配置，统一的监控系统，大幅降低运维工作量，提升工作效率。

针对自动驾驶研发流程复杂的情况，该存储系统不仅能够容纳汇聚自动驾驶场景下的各类数据，同时还可对上层的AI/ML训练、云原生应用等提供标准POSIX接口，兼容Amazon S3协议接口，以及HDFS接口，一套存储支持多种协议接口，满足模型训练各阶段对数据的访问诉求，支撑自动驾驶数据处理的全套流程。

杉岩数据自动驾驶场景存储方案支持对数据进行全生命周期管理，支持冷热数据介质分层迁移、实时归档、延时归档、延时删除等，降低存储成本。

针对模型训练的特性，杉岩数据内容管理平台中的分布式文件网关层面向小文件进行了专门的调优和设计，开发了多级分布式缓存架构，将热点数据（如正在训练的数据集）缓存在高性能介质中，如NVMe SSD、MEM等，将非热点数据存储在大容量介质中，加上强大的元数据能力，既保证了极致的响应时延，助力训练业务充分释放出GPU等特殊硬件的算力，横向扩展带来的近似线性增加的容量和性能又保障了高带宽和超大的容量需求，让AI训练可靠、高效。

随着国家监管政策的不断完善，自动驾驶示范区数量的增加，规模化商用开始成为行业主旋律。自动驾驶企业也希望找到更经济可靠的存储，有效地处理各种负载，同时降低数据管理和运维成本，将更多资源投入到产品研发之中。

杉岩数据将持续跟进技术演进，以智能分布式存储技术帮助自动驾驶企业实现在性能、容量和扩展性之间的全面平衡，让海量数据实现高效的存储、管理和利用，助力自动驾驶技术的快速发展。