星环科技多模型数据统一存储的大数据分布式存储平台方案分享

2022 年 9 月 16 日
上海
本文字数：1983 字
阅读完需：约 7 分钟

数字经济时代，随着大数据、人工智能等新一代信息技术的快速发展与应用，企业的数据量呈现爆炸式增长，数据结构也越来越多样化，对数据存储提出了更新的要求：

数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据，多模型存储需求应运而生。
非结构化数据的快速增长，对象存储的优势逐渐显现，并要求能够低成本实现海量非结构数据的存储。

此外，传统数据存储平台需要同时存储大文件和小文件，业务的高速发展带来海量文件存储需求对存储平台提出了更高的性能要求。

面对业务多样化对大数据存储提出的新要求，星环科技自主研发了多模型数据统一存储的大数据分布式存储管理平台，可同时满足多模型数据存储和海量文件存储等需求。

基于多模型数据统一存储技术可实现 PB 级多模型数据统一存储，9 种存储引擎支持 10 种数据模型，轻松实现跨模型联合分析，一站式满足企业业务各种场景。自主研发的分布式文件系统打破 HDFS 的存储瓶颈，实现海量小文件存储，可同时支持文件和对象存储，降低运维成本，并且兼容开源 Hadoop 生态，支持应用平滑迁移。

多模型存储星环多模型数据统一分布式存储管理

传统存储平台方案将多个模型存储系统进行组合，各单一场景由各类专门数据库分别支撑，这类方案存在数据存储冗余、数据一致性治理难等问题，并且多套存储导致架构复杂、运维成本高、数据跨库分析难。

星环科技多模型数据统一存储平台方案实现多模型数据的统一存储，基于统一多模型架构提供多模型能力。

星环科技自主研发的统一分布式数据管理系统 TDDMS，该系统搭建了一个通用的分布式存储处理框架，提供了数据的分布管理、元信息管理、分布式事务、分布式一致性协议以及数据高可用保障。

同时 TDDMS 支持接入不同的存储引擎，实现不同数据模型的存储。当前 TDH 分布式数据管理系统接入了 9 款存储引擎，支持 10 种数据模型的存储。用户不需要为不同模型建立单独的存储系统，而是通过统一的存储管理，降低了运维管理成本，也避免了数据孤岛。

此外，分布式数据管理系统的插件特性，也方便后续业务的灵活扩展，可以根据需要灵活接入其他存储引擎，比如 TDH9.0 版本中，根据文档处理的新需求，新接入了文档存储引擎 DocStore。

多模型支持

基于统一多模型架构支持关系型数据存储、宽表存储、搜索引擎、事件存储、地理空间存储、图存储、键值存储、文档存储、对象存储和时序数据存储，共 10 种数据模型，满足企业各类业务场景。

多模型统一存储

不同模型数据基于星环分布式数据管理系统 TDDMS 统一存储统一管理，降低运维成本，避免数据孤岛。

统一数据查询入口

统一接口处理不同业务、不同模型数据，避免多个不同接口的不一致，降低开发成本，避免烟囱式建设。

高可靠、高容错

基于星环分布式数据管理系统 TDDMS 实现统一数据多副本管理，数据一致性管理，保障数据安全。支持副本自动迁移，自动修复，具备高容错性，保障服务高可靠。

海量文件+对象存储星环分布式文件系统

传统数据存储平台需要同时存储海量大文件和小文件。HDFS 文件存储容量受限，不支持海量小文件，需要额外搭建对象存储平台，多套存储运维成本高。并且 HDFS 依赖建立多个 Namespace 扩展文件存储容量，数据不互通，业务层需要随着扩容更改逻辑。

星环科技自主设计研发了企业级分布式文件系统 TDFS，海量小文件存储无瓶颈，同时支持文件和对象存储，并且兼容 Hadoop 生态，支持应用平滑迁移。

同时支持文件与对象存储

星环分布式文件系统 TDFS 一套存储同时支持文件存储与对象存储，统一存储管理，降低运维成本

海量文件存储

TDFS 支撑 10 亿以上文件数，PB 级以上存储容量，是开源 HDFS 数倍

元数据管理能力

自研元数据管理，基于 Raft 一致性协议保障元数据安全。支持小文件与小文件一起存储，无惧海量小文件，无需多 namesapce 拆分

生态兼容

兼容开源 Hadoop 生态，支持 HDFS API 与 S3 接口，支撑应用平滑迁移

企业级一站式多模型大数据基础平台 Transwarp Data Hub

Transwarp Data Hub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。9 种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的 10 种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。