焱融科技借公有云出海,服务国际知名卡车制造商自动驾驶业务
自动驾驶汽车曾经只是科幻电影中的事物,但随着人工智能、传感器技术、智能控制系统和智能执行器不断进步完善,自动驾驶正在逐步成为现实。机器学习是自动化驾驶系统中的重要环节,自动驾驶系统可根据摄像头、激光雷达等设备输入的数据,帮助车辆检测危险并快速做出决策。在机器学习过程中,数据的收集、存储、分析效率对自动驾驶的研发会产生较大影响。
YRCloudFile 为国际知名卡车制造商自动驾驶提供存储服务
焱融科技的某欧洲客户是全球领先的重型卡车和巴士制造商之一,该客户的产品销往世界 100 多个国家和地区,凭借其领先的模块化系统,成为了商用汽车行业盈利能力最强的公司之一。该客户设计和生产了世界上首个职能健全、覆盖面广的自动驾驶卡车车队,并投入行驶运营。
下图阐述了该客户基于 YRCloudFile 高性能分布式文件存储,管理和维护的 Advanced Driver Assistance Systems(ADAS)系统开发生命周期。该系统每天处理大量数据,这些数据是自动驾驶试验卡车收集和生成的视频和图像文件,原始数据随后会生成数百万条高质量的标签数据,在基于 AWS 公有云的集群上进行 AI 模型训练。
Figure: ADAS 开发生命周期
自动驾驶场景中数据存储面临的挑战
AI 计算存储架构是实现自动驾驶的核心,成功的关键是如何高效处理海量的数据负载。卡车收集和训练的数据越多,自动驾驶决策就越精准。
此客户在 AWS 上尝试将存储技术用于自动驾驶项目时,遇到了一系列挑战:
可扩展性的限制:无法获得弹性的单一命名空间用于存储 PB 级数据
有限的吞吐量:如何及时地将数据从存储中加载至计算引擎,以避免浪费宝贵的 GPU 计算资源
高昂的成本:如何在控制整体架构预算的情况下,缩短训练时间完成训练任务
经过实际评测,该客户最终选择了将焱融科技 YRCloudFile 部署在 AWS 上作为自动驾驶训练的存储平台。用户可在 AWS 上基于 EC2 云主机和高性能磁盘,数分钟内快速搭建 YRCloudFile,并使用 YRCloudFile 数据预读、智能缓存等技术极大提高 GPU 服务器并发加载训练数据集的性能。通过对比,YRCloudFile 的文件访问性能优于其它国际产品。
此外,YRCloudFile 可以无缝地与 Amazon S3 对象存储进行对接,实现数据冷热分层,从而降低海量数据存储的总体成本。
面对自动化驾驶训练数据集中的海量非结构化数据,YRCloudFile 的元数据和数据容量与性能都可以实现水平按需扩展,从而承载数百亿个 KB 级别小文件,为大量客户端提供并发访问支持,满足 AI 训练中 GPU 计算集群对小文件高带宽、低延时的访问要求,使 GPU 等计算资源得到最大程度的利用。
YRCloudFile 结合 AWS 等公有云平台,不但拓展了应用场景,同时也实现了海外市场的快速覆盖,中国的创新型存储厂商在激烈的国际竞争中,将大有可为。
关于焱融科技
焱融科技是一家以软件定义存储技术为核心竞争力的高新技术企业,在分布式存储等关键技术上拥有自主知识产权,是高性能文件存储和容器存储的领导者。焱融科技核心产品 YRCloudFile 在全球 IO500 性能测试中,进入世界前六。同时,YRCloudFile 是国内首个进入 CNCF Landscape 的容器存储产品。焱融科技针对各行业业务特性,打造个性化行业解决方案,提供一站式的产品与服务。焱融科技系列产品已服务于人工智能、金融、政府、制造业、互联网等行业的众多客户。了解更多焱融科技信息,请访问官网http://www.yanrongyun.com。
版权声明: 本文为 InfoQ 作者【焱融科技】的原创文章。
原文链接:【http://xie.infoq.cn/article/3e05918fe7f489ece7b54adb2】。
本文遵守【CC BY-NC-ND】协议,转载请保留原文出处及本版权声明。
评论