写点什么

MinIO: 开源对象存储解决方案的领先者

  • 2024-07-05
    浙江
  • 本文字数:3079 字

    阅读完需:约 10 分钟

MinIO:开源对象存储解决方案的领先者

MinIO 是一款开源的对象存储系统,致力于提供高性能、可伸缩、安全的数据存储解决方案。

官方解释:MinIO 是一个基于 Apache License v2。0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几 kb 到最大 5T 不等。

MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。

本文将介绍 MinIO 的背景、用途、优势、与其他存储解决方案进行对比和安装使用。

背景

MinIO 的发展背景与云计算、大数据、多媒体存储以及云原生应用程序的快速增长密切相关。传统的文件系统和关系型数据库已无法满足不断膨胀的数据需求。MinIO 在这一背景下崭露头角,于 2014 年由 Anand Babu Periasamy 创建,成为对象存储的先锋之一。MinIO 是一个自由开放源码的项目,由广大开发者社区不断推动,以提供灵活、可靠、高性能的对象存储。

用途

无论是构建云原生应用程序、存储多媒体文件、支持数据分析,还是作为数据湖的一部分,MinIO 都提供了可靠的存储解决方案。

1. 多媒体存储:MinIO 可用于存储大规模的图片、视频、音频和其他多媒体文件。其高性能和低延迟的特点使其成为媒体内容存储的理想选择。许多多媒体应用程序和网站使用 MinIO 来提供快速且可伸缩的存储解决方案。

2. 备份和归档:MinIO 提供数据冗余和保护机制,适用于存储备份数据、历史数据和归档数据。这确保了数据的可靠性和长期保存,符合合规性和安全性要求。

3. 数据湖:MinIO 作为数据湖存储层的一部分,用于存储原始和结构化数据,以供后续分析和挖掘。它支持各种数据类型和格式,使数据湖的构建更加灵活和高效。

4. 数据仓库:MinIO 可以与数据仓库集成,作为数据存储层,支持快速数据检索和分析操作。这使数据仓库可以更好地处理和分析大规模数据。

5. 分布式存储:MinIO 具有分布式架构,可以在多个节点上运行,提供高可用性和可伸缩性。这使其成为处理大规模数据存储需求的理想解决方案,尤其是在需要水平扩展时。

6. 云原生应用程序:MinIO 可作为云原生应用程序的后端存储,适用于微服务架构和容器化应用程序。它提供了高性能和可伸缩性,支持现代云原生开发。

7. 开发和测试环境:MinIO 用于构建开发和测试环境,模拟对象存储,进行应用程序开发和测试。这有助于开发人员模拟真实的对象存储环境,以确保应用程序在生产环境中顺利运行。

优势

MinIO 作为一个对象存储系统,在很多方面都具有显著的优势,尤其适合需要构建自己的私有对象存储解决方案或在云环境中使用 Amazon S3 API 的应用程序。以下是 MinIO 的主要优势:

1. 高性能:MinIO 提供卓越的性能,具有快速存储和检索大规模数据对象的能力。其并发读写和低延迟访问使其成为处理多媒体和大规模数据集的理想选择。MinIO 号称是目前速度最快的对象存储服务器。在标准硬件上,对象存储的读/写速度最高可以高达 183 GB/s 和 171 GB/s。对象存储可以作为主存储层,用来处理 Spark、Presto、TensorFlow、H2O。ai 等各种复杂工作负载以及成为 Hadoop HDFS 的替代品。

1. S3 兼容性:MinIO 提供了与 Amazon S3 API 完全兼容的接口,这意味着它可以无缝与 AWS S3 应用程序和工具集成。亚马逊云的 S3 API(接口协议) 是在全球范围内达到共识的对象存储的协议,是全世界内大家都认可的标准。MinIO 在很早的时候就采用了 S3 兼容协议,并且 MinIO 是第一个支持 S3 Select 的产品。开发者可以直接使用支持 Amazon S3 的工具、库和应用程序无缝迁移到 MinIO,或者使用它们进行互操作。



2. 开源和自由:MinIO 基于 Apache V2 license 100% 开放源代码 。这就意味着 MinIO 的用户能够自动的、无限制、自由免费使用和集成 MinIO、自由的创新和创造、 自由的去修改、自由的再次发行新的版本和软件。这降低了总体拥有成本,使其成为个人、小型企业和大型组织的理想选择。

3. 轻量级和易于部署:MinIO 是一个轻量级的对象存储系统,容易部署和管理。MinIO 简单特性减少了出错的机会,节约了安装部署的时间,提供了可靠性,同时简单性又是性能的基础。MinIO 升级是通过一个简单命令完成的,这个命令可以无中断的完成 MinIO 的升级工作,并且不需要停机即可完成升级操作,大大降低总使用和运维成本。您可以在本地数据中心、云环境或容器化平台上运行 MinIO。MinIO 提供了与 k8s、etcd、docker 等主流容器化技术深度集成方案。

与其他存储解决方案的对比

1. Amazon S3:MinIO 提供了类似 S3 的 API,与 AWS S3 兼容,但不需要云供应商锁定,可在私有云或混合云环境中使用。与 S3 相比,MinIO 更加灵活,可自托管,降低了存储成本。

2. Hadoop HDFS:HDFS 是分布式文件系统,用于大数据存储和处理,MinIO 是对象存储系统,更适合多媒体存储、备份和归档以及与云原生应用程序集成。MinIO 在性能、多用途性和 S3 兼容性方面具有优势。

3. Ceph:Ceph 是另一个开源的对象存储系统,MinIO 与 Ceph 相比更加轻量级、易于部署和维护,适用于小型和中型组织。

安装使用

MinIO 作为一款基于 Golang 编程语言开发的一款高性能的分布式式存储方案的开源项目,有十分完善的官方文档。目前 MinIO 支持市面主流的开发语言并且可以通过 SDK 快速集成快速集成使用。详细使用可参考官方文档。

官网文档地址:https://docs.min.io/cn/

Minio Cookbook中文版地址(书栈网):https://www.bookstack.cn/read/MinioCookbookZH/

MinIO 服务安装后,可以直接通过浏览器登录系统,完成文件夹、文件的管理。非常方便使用。

Linux 下安装 MinIO

# 下载安装包wget https://dl.min.io/server/minio/release/linux-amd64/minio#运行命令chmod +x minio#启动 ./minio server /usr/software/minio/data# 后台进程启动nohup ./minio server /usr/software/minio/data  >  /usr/software/minio/minio.log 2>&1 &
复制代码

Widows 下安装 MinIO

直接安装启动

下载安装包

下载地址:https://dl.minio.io/server/minio/release/windows-amd64/minio.exe

管理员身份启用 cmd 窗口,然后定位到 minio.exe 文件夹执行如下命令:

.\minio.exe server D:\file\minio
复制代码

说明:D:\file\minio 为存储文件的目录

2、后台服务安装

· 下载地址:https://github.com/winsw/winsw/releases

· 将 WinSW.exe 复制到自己指定的目录,重命名为 minio-server.exe

· 同目录下创建 minio-server.xml。特别注意,xml 和 exe 必须同名

· 然后配置 minio-server.xml 文件,内容如下:

<service>    <id>minio-server</id>    <name>minio-server</name>     <description>minio文件存储服务/description>     <!-- 可设置环境变量 -->    <env name="HOME" value="%BASE%"/>     <executable>%BASE%\minio.exe</executable>     <arguments>server "%BASE%\data"</arguments>      <!-- <logmode>rotate</logmode> -->       <logpath>%BASE%\logs</logpath>        <log mode="roll-by-size-time">          <sizeThreshold>10240</sizeThreshold>          <pattern>yyyyMMdd</pattern>           <autoRollAtTime>00:00:00</autoRollAtTime>           <zipOlderThanNumDays>5</zipOlderThanNumDays>           <zipDateFormat>yyyyMMdd</zipDateFormat>          </log> </service>
复制代码

· 使用 cmd 命令 minio-server.exe install 安装服务

· 安装完后,去服务中启动服务。启动成功就可以正常使用 minio 啦

· 可以使用 minio-server.exe uninstall  来卸载服务

安装成功后,浏览器登录访问http://127.0.0.1:9000

如果浏览器出现如下界面,表示安装成功。然后使用默认登录名和密码均为 minioadmin。为了安全考虑后期可再去修改。

用户头像

云数据智能操作系统领军者 2022-12-05 加入

浙江数新网络有限公司是一家拥抱开源,专注于云数据平台的大数据服务商,致力于结合全球云数仓先进理念,打造适合中国落地路径的云数仓体系。

评论

发布
暂无评论
MinIO:开源对象存储解决方案的领先者_开源_数新网络官方账号_InfoQ写作社区