全部标签
写点什么
开源架构OpenHarmony算法元宇宙学习方法Web3.0高效工作数据库Python音视频前端AI大数据团队管理程序员运维深度思考低代码redisgolang微服务架构flutter 查看更多

StarRocks × MinIO：打造灵活高效的存算分离方案

作者：StarRocks
  • 2025-07-20
    河北

  • 本文字数：5565 字

    阅读完需：约 18 分钟

StarRocks × MinIO：打造灵活高效的存算分离方案

“存算分离”（Decoupled Storage and Compute）是一种在现代数据系统中被广泛采用的架构设计。它将计算和存储解耦，使二者可以独立扩展，提升资源利用率并降低运维成本。StarRocks 从 3.0 版本开始支持这一架构，允许用户将数据存储从计算节点中剥离，实现更灵活、弹性的系统部署。

在这种架构中，计算层由数据库引擎负责，存储则交由对象存储系统承担。对象存储的实现方式有很多，包括各大公有云厂商提供的服务以及一些开源方案。我们在本文中选择 MinIO 作为示例，是因为它开源、高性能、支持 S3 协议，并且非常适合用于本地测试或私有部署。


MinIO 和 StarRocks 的组合正是存算分离架构的一个实践案例。MinIO 提供可靠的对象存储能力，StarRocks 专注于查询加速与计算优化，二者结合，在实时和离线分析场景下都能提供良好的性能表现与灵活性。


此外，两者都支持 Kubernetes 原生部署，可以轻松集成到现代云原生平台中。用户无需绑定特定云厂商，也可以通过简单的 YAML 文件，在本地或云上快速搭建和演进整个数据平台。这种部署模式对于开发测试、混合云、边缘计算等场景尤其友好。


下面我们将提供一份实践教程，介绍如何使用 MinIO 作为主存储，配合 StarRocks 构建起一套完整的数据分析环境。如需详细的配置说明，可参考文末链接至 StarRocks 官方文档。

存算分离架构的优势

在引入存算分离架构的同时，StarRocks 也提供了本地缓存机制，用于降低远程对象存储访问频次，从而提高数据读取性能，缓解网络瓶颈。整体优势包括：

  • 成本控制：计算和存储资源可独立扩展，按需配置，避免资源浪费；

  • 部署灵活：可根据业务场景自由组合不同的计算与存储系统；

  • 弹性扩展：适配动态负载需求，计算与存储节点可分别扩容；

  • 查询性能优化：结合本地缓存机制，提升对热点数据的访问效率；

  • 可维护性更高：工作负载可在不同资源池之间迁移，方便运维管理；

  • 资源隔离更清晰：适用于多租户、不同业务线的资源划分需求。

快速开始

接下来你将学到如何在 Docker 容器中运行 StarRocks 和 MinIO，配置 StarRocks 以使用共享存储，加载两个公开数据集，并使用 SQL 进行数据探索。

前置条件

你需要安装：

  • curl：用于下载 YAML 和数据文件；

  • Docker Compose：推荐直接安装 Docker Desktop，它包含了 Docker Engine 和 Compose；

  • 验证安装情况：

docker compose version
复制代码

  • SQL 客户端：比如 DBeaver 或 MySQL CLI。

本教程中的 MySQL 实例可以通过 MySQL CLI 访问，因此不需要额外依赖。当然，你也可以下载 DBeaver 或 MySQL Workbench 来获得更好的使用体验。

开始使用

  1. 创建工作目录并下载 Docker Compose 文件：

mkdir sr-quickstartcd sr-quickstartcurl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/docker-compose.yml
复制代码

  1. 使用以下命令让 Docker Compose 在后台启动 docker-compose.yml 文件中定义的所有容器：

docker compose up -d
复制代码

MinIO 设置

你可以通过 MinIO 控制台或使用 mc 来操作 MinIO。以下截图和说明基于 MinIO 控制台。

打开浏览器访问：http://localhost:9001/access-keys。用户名和密码在 Docker Compose 文件中已配置，默认是 minioadmin:minioadmin。

点击 “Create access key +”，然后点击 “Create”。

连接 SQL 客户端（以 DBeaver 为例）

你需要连接到一个 SQL 客户端来操作数据。你可以选择使用 DBeaver。在 DBeaver 中创建一个新的数据库连接，然后选择 MySQL 数据库驱动：

  • 端口：9030

  • 地址：localhost

  • 用户名：root

测试连接成功后点击 Finish。

或者你更习惯使用命令行，也可以在 starrocks-fe 容器中使用 MySQL CLI。要连接到 StarRocks，请进入包含 docker-compose.yml 的目录，并运行以下命令：

docker compose exec starrocks-fe \mysql -P9030 -h127.0.0.1 -uroot --prompt="StarRocks > "
复制代码

创建 Bucket

在你的 SQL 客户端中运行以下命令，确保使用你之前在 MinIO 控制台中创建的 Access Key 和 Secret：

CREATE STORAGE VOLUME sharedTYPE = S3LOCATIONS = ("s3://starrocks/shared/")PROPERTIES(   "enabled" = "true",   "aws.s3.endpoint" = "http://minio:9000",   "aws.s3.use_aws_sdk_default_behavior" = "false",   "aws.s3.enable_ssl" = "false",   "aws.s3.use_instance_profile" = "false",   "aws.s3.access_key" = "{你的 Access Key}",   "aws.s3.secret_key"= "{你的 Secret Key}");SET shared AS DEFAULT STORAGE VOLUME;
复制代码

访问 http://localhost:9001/buckets，确认名为 starrocks 的 bucket 是否已成功创建。

下载数据

在终端中运行以下命令，打开 starrocks-fe 容器中的 Bash shell，这样你就可以访问容器的文件系统并在其中执行命令：

docker compose exec starrocks-fe bash
复制代码

运行以下命令，在容器内创建一个 quickstart 目录：

mkdir quickstartcd quickstart
复制代码

接着运行以下命令，将两个数据集下载到刚刚创建的文件夹中：

curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/NYPD_Crash_Data.csv
复制代码


curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/72505394728.csv
复制代码

创建数据库与表

在使用 SQL 客户端连接到 StarRocks 的终端窗口中，看到 StarRocks > 提示符后，运行以下命令。

CREATE DATABASE IF NOT EXISTS quickstart;
复制代码


USE quickstart;
复制代码

你的终端应该类似如下所示：

StarRocks > CREATE DATABASE IF NOT EXISTS quickstart;Query OK, 0 rows affected (0.02 sec)StarRocks > USE quickstart;Database changedStarRocks >
复制代码

在 SQL 客户端中创建表

返回 DBeaver 或你选择的其他 SQL 客户端，执行以下命令为数据创建表：

USE quickstart;
复制代码



CREATE TABLE IF NOT EXISTS crashdata (   CRASH_DATE DATETIME,   BOROUGH STRING,   ZIP_CODE STRING,   LATITUDE INT,   LONGITUDE INT,   LOCATION STRING,   ON_STREET_NAME STRING,   CROSS_STREET_NAME STRING,   OFF_STREET_NAME STRING,   CONTRIBUTING_FACTOR_VEHICLE_1 STRING,   CONTRIBUTING_FACTOR_VEHICLE_2 STRING,   COLLISION_ID INT,   VEHICLE_TYPE_CODE_1 STRING,   VEHICLE_TYPE_CODE_2 STRING);
复制代码


CREATE TABLE IF NOT EXISTS weatherdata (   DATE DATETIME,   NAME STRING,   HourlyDewPointTemperature STRING,   HourlyDryBulbTemperature STRING,   HourlyPrecipitation STRING,   HourlyPresentWeatherType STRING,   HourlyPressureChange STRING,   HourlyPressureTendency STRING,   HourlyRelativeHumidity STRING,   HourlySkyConditions STRING,   HourlyVisibility STRING,   HourlyWetBulbTemperature STRING,   HourlyWindDirection STRING,   HourlyWindGustSpeed STRING,   HourlyWindSpeed STRING);
复制代码

加载数据

切换到你之前下载数据集的终端，在 starrocks-fe 容器中的 shell 中执行以下 curl 命令。当提示输入密码时，直接按回车键即可。

curl --location-trusted -u root             \    -T ./NYPD_Crash_Data.csv                \    -H "label:crashdata-0"                  \    -H "column_separator:,"                 \    -H "skip_header:1"                      \    -H "enclose:\""                         \    -H "max_filter_ratio:1"                 \    -H "columns:tmp_CRASH_DATE, tmp_CRASH_TIME, CRASH_DATE=str_to_date(concat_ws(' ', tmp_CRASH_DATE, tmp_CRASH_TIME), '%m/%d/%Y %H:%i'),BOROUGH,ZIP_CODE,LATITUDE,LONGITUDE,LOCATION,ON_STREET_NAME,CROSS_STREET_NAME,OFF_STREET_NAME,NUMBER_OF_PERSONS_INJURED,NUMBER_OF_PERSONS_KILLED,NUMBER_OF_PEDESTRIANS_INJURED,NUMBER_OF_PEDESTRIANS_KILLED,NUMBER_OF_CYCLIST_INJURED,NUMBER_OF_CYCLIST_KILLED,NUMBER_OF_MOTORIST_INJURED,NUMBER_OF_MOTORIST_KILLED,CONTRIBUTING_FACTOR_VEHICLE_1,CONTRIBUTING_FACTOR_VEHICLE_2,CONTRIBUTING_FACTOR_VEHICLE_3,CONTRIBUTING_FACTOR_VEHICLE_4,CONTRIBUTING_FACTOR_VEHICLE_5,COLLISION_ID,VEHICLE_TYPE_CODE_1,VEHICLE_TYPE_CODE_2,VEHICLE_TYPE_CODE_3,VEHICLE_TYPE_CODE_4,VEHICLE_TYPE_CODE_5" \    -XPUT http://localhost:8030/api/quickstart/crashdata/_stream_load
复制代码


curl --location-trusted -u root             \    -T ./72505394728.csv                    \    -H "label:weather-0"                    \    -H "column_separator:,"                 \    -H "skip_header:1"                      \    -H "enclose:\""                         \    -H "max_filter_ratio:1"                 \    -H "columns: STATION, DATE, LATITUDE, LONGITUDE, ELEVATION, NAME, REPORT_TYPE, SOURCE, HourlyAltimeterSetting, HourlyDewPointTemperature, HourlyDryBulbTemperature, HourlyPrecipitation, HourlyPresentWeatherType, HourlyPressureChange, HourlyPressureTendency, HourlyRelativeHumidity, HourlySkyConditions, HourlySeaLevelPressure, HourlyStationPressure, HourlyVisibility, HourlyWetBulbTemperature, HourlyWindDirection, HourlyWindGustSpeed, HourlyWindSpeed, Sunrise, Sunset, DailyAverageDewPointTemperature, DailyAverageDryBulbTemperature, DailyAverageRelativeHumidity, DailyAverageSeaLevelPressure, DailyAverageStationPressure, DailyAverageWetBulbTemperature, DailyAverageWindSpeed, DailyCoolingDegreeDays, DailyDepartureFromNormalAverageTemperature, DailyHeatingDegreeDays, DailyMaximumDryBulbTemperature, DailyMinimumDryBulbTemperature, DailyPeakWindDirection, DailyPeakWindSpeed, DailyPrecipitation, DailySnowDepth, DailySnowfall, DailySustainedWindDirection, DailySustainedWindSpeed, DailyWeather, MonthlyAverageRH, MonthlyDaysWithGT001Precip, MonthlyDaysWithGT010Precip, MonthlyDaysWithGT32Temp, MonthlyDaysWithGT90Temp, MonthlyDaysWithLT0Temp, MonthlyDaysWithLT32Temp, MonthlyDepartureFromNormalAverageTemperature, MonthlyDepartureFromNormalCoolingDegreeDays, MonthlyDepartureFromNormalHeatingDegreeDays, MonthlyDepartureFromNormalMaximumTemperature, MonthlyDepartureFromNormalMinimumTemperature, MonthlyDepartureFromNormalPrecipitation, MonthlyDewpointTemperature, MonthlyGreatestPrecip, MonthlyGreatestPrecipDate, MonthlyGreatestSnowDepth, MonthlyGreatestSnowDepthDate, MonthlyGreatestSnowfall, MonthlyGreatestSnowfallDate, MonthlyMaxSeaLevelPressureValue, MonthlyMaxSeaLevelPressureValueDate, MonthlyMaxSeaLevelPressureValueTime, MonthlyMaximumTemperature, MonthlyMeanTemperature, MonthlyMinSeaLevelPressureValue, MonthlyMinSeaLevelPressureValueDate, MonthlyMinSeaLevelPressureValueTime, MonthlyMinimumTemperature, MonthlySeaLevelPressure, MonthlyStationPressure, MonthlyTotalLiquidPrecipitation, MonthlyTotalSnowfall, MonthlyWetBulb, AWND, CDSD, CLDD, DSNW, HDSD, HTDD, NormalsCoolingDegreeDay, NormalsHeatingDegreeDay, ShortDurationEndDate005, ShortDurationEndDate010, ShortDurationEndDate015, ShortDurationEndDate020, ShortDurationEndDate030, ShortDurationEndDate045, ShortDurationEndDate060, ShortDurationEndDate080, ShortDurationEndDate100, ShortDurationEndDate120, ShortDurationEndDate150, ShortDurationEndDate180, ShortDurationPrecipitationValue005, ShortDurationPrecipitationValue010, ShortDurationPrecipitationValue015, ShortDurationPrecipitationValue020, ShortDurationPrecipitationValue030, ShortDurationPrecipitationValue045, ShortDurationPrecipitationValue060, ShortDurationPrecipitationValue080, ShortDurationPrecipitationValue100, ShortDurationPrecipitationValue120, ShortDurationPrecipitationValue150, ShortDurationPrecipitationValue180, REM, BackupDirection, BackupDistance, BackupDistanceUnit, BackupElements, BackupElevation, BackupEquipment, BackupLatitude, BackupLongitude, BackupName, WindEquipmentChangeDate" \    -XPUT http://localhost:8030/api/quickstart/weatherdata/_stream_load
复制代码

完成后，返回浏览器访问 http://localhost:9001，确认数据是否已成功上传到 MinIO。

查询数据

回到你的 SQL 客户端，我们来对刚才加载的数据运行一些查询。首先，我们通过查询来了解降水、交通事故与星期几/时间之间的关系：

SELECT COUNT(DISTINCT c.COLLISION_ID) AS Crashes,       TRUNCATE(AVG(w.HourlyDryBulbTemperature), 1) AS Temp_F,       MAX(w.HourlyPrecipitation) AS Precipitation,       DATE_FORMAT(c.CRASH_DATE, '%d %b %Y %H:00') AS HourFROM crashdata cLEFT JOIN weatherdata wON DATE_FORMAT(c.CRASH_DATE, '%Y-%m-%d %H:00:00') = DATE_FORMAT(w.DATE, '%Y-%m-%d %H:00:00')WHERE DAYOFWEEK(c.CRASH_DATE) BETWEEN 2 AND 6GROUP BY HourORDER BY Crashes DESCLIMIT 200;
复制代码

开放表格式+对象存储实践

最后，我们再放上 StarRocks x Apache Iceberg/Hudi x MinIO 的视频 demo，只要短短几分钟就可以完成数据入湖到可视化：

  • Apache Iceberg：https://www.bilibili.com/video/BV1ET42167TY/

  • Apache Hudi：https://www.bilibili.com/video/BV1G45PzHEuF/

划线
评论
复制
发布于: 刚刚阅读数: 4
Docker存算分离StarRocksminloquickstart
用户头像

StarRocks

关注

新一代极速全场景MPP数据库 2020-08-08 加入

StarRocks一直致力于打造世界顶级的新一代极速全场景MPP数据库，帮助企业建立“极速统一”的数据分析新范式，助力企业数字化经营。当前已帮助腾讯、携程、顺丰、Airbnb等超过110家大型用户构建全新的数据分析能力。

评论

发布
暂无评论
Copyright © 2025, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5京公网安备京公网安备 11010502039052号 | 产品资质
StarRocks × MinIO：打造灵活高效的存算分离方案_Docker_StarRocks_InfoQ写作社区