写点什么

分布式存储

0 人感兴趣 · 119 次引用

  • 最新
  • 推荐

纠删码技术在 vivo 存储系统的演进【上篇】

本文对行业纠删码技术的核心研究成果进行了梳理,针对公司线上存储系统的纠删码进行分析,结合互联网企业通用的IDC资源、业务特性等进行分析,对原有技术进行优化和微创新,提出了融合EC整体方案以及可落地的RS+LRC+中间结果优化+并行修复跨AZ带宽设计方案。

分布式存储技术(上):HDFS 与 Ceph 的架构原理、特性、优缺点解析

面对企业级数据量,单机容量太小,无法存储海量的数据,这时候就需要用到多台机器存储,并统一管理分布在集群上的文件,这样就形成了分布式文件系统。

https://static001.geekbang.org/infoq/1b/1b969173ada10d3f7b48a99ccfc680e6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

在 Rainbond 上使用 Curve 云原生存储

Curve 是网易主导自研的现代化存储系统, 目前支持文件存储(CurveFS)和块存储(CurveBS)。

https://static001.geekbang.org/infoq/9c/9c72318e50bb60439a1616c79a0a3c3d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技助力海尔集团上云 加速“智能制造”进程

焱融科技作为国内唯一能够在各种云环境下提供高性能存储的解决方案的厂商、高效的 POC 测试和紧密的合作使海尔创新中心在 2 周的时间内完成了用户业务的数据迁移。

https://static001.geekbang.org/infoq/02/025e592c1f0bd7af34e5b7af0a137f34.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

国内首发|焱融科技 YRCloudFile 支持 NVIDIA GPUDirect Storage(GDS)

为更加完美地满足大规模计算集群对于存储系统的数据访问需求,焱融技术团队历时 6 个月的时间完成对 NVIDIA GPUDirect Storage(GDS)的适配开发,实现以直接内存的存取方式,将数据传输至 GPU 内存上,显著降低 I/O 延迟,提升数据带宽。

https://static001.geekbang.org/infoq/ec/ecb6127733df8feccacc920025138321.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。

https://static001.geekbang.org/infoq/63/6300c457d56ef866b72226bfa4a2a9f3.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

用户头像
网易数帆
2022-12-23

对于高性能块存储场景,我们采用全 NVMe 闪存方式构建 Curve 集群。 为了充分发挥NVMe闪存性能,我们基于SPDK技术重构Chunkserver的Ext4 filepool。

https://static001.geekbang.org/infoq/ca/ca3fe80c2aa964517d1bb45d297b3ada.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式存储之 etcd 的集群管理

用户头像
焱融科技
2022-11-24

在分布式文件存储中,我们通常会面临集群选主,配置共享和节点状态监控的问题。通过 etcd(基于 Raft 协议)可以实现超大规模集群的管理,以及多节点的服务可靠性。今天,我们就聊聊 etcd 在分布式存储中的具体应用。

https://static001.geekbang.org/infoq/a1/a1c22a9a40062f2fc6b77e1ebbbf4f70.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

创云融达基于 Curve 块存储的智慧税务场景实践

用户头像
网易数帆
2022-11-24

基于 Curve 构建分布式块存储作为虚拟化环境的数据底座,具有比 Ceph 架构具有更高的可靠性和数据安全性

https://static001.geekbang.org/infoq/c0/c02949c615ab89a549890f7907e433f7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Curve 文件存储:如何支撑百亿级文件?

用户头像
网易数帆
2022-11-11

Curve 文件系统如何保证可以支撑百亿级规模?如何保证在百亿级规模下的性能?

https://static001.geekbang.org/infoq/da/da382337d6dba233b57a629b3cb1d0a0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入浅出分布式,阿里大牛手写《分布式核心原理》Github 一夜爆火

自20世纪40年代计算机诞生以来,及互联网呈现出高速发展的趋势,(互联网理财,移动支付,短视频应用,直播)计算机以及互联网已经深刻影响了人们的生活和工作的方方面面。

Curve Testing Camp Time|万元大奖等你来拿!

用户头像
张慧
2022-08-22

Curve Testing Time 目的是帮助社区朋友们沉浸式体验 Curve 的部署、Curve在不同方向的应用,除了 Curve PMC、maintainer全程指导参与,更有万元大奖等你来拿~!

如何通过 open-local 玩转容器本地存储? | 龙蜥技术

云原生背景下,本地存储相比分布式存储,在易用性、可维护性、IO 性能上都更胜一筹,但使用本地存储任然有诸多问题。那么 open-local 会带来什么不一样的体验呢?

https://static001.geekbang.org/infoq/64/64a5878e76ad7c6ad19c5893149fbc76.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

个推 TechDay 直播预告 | 6 月 22 日,开启大数据降本提效的破局之道!

用户头像
个推
2022-06-17

本期个推TechDay技术直播邀请到了来自个推和业内的资深大数据技术专家,围绕大数据任务优化、标签存算、透明存储、在/离线混部技术等内容,从实战出发,为大家解读大数据降本提效的破局思路。

https://static001.geekbang.org/infoq/08/0894365346b0b7205e6158f1801a852d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

为什么要开发分布式操作系统

Laxcus分布式操作系统是专门面对云端市场研发的操作系统,它将大量计算机聚合到一起,实现了终端、边缘端、云端的互联互通互操作,用统一的分布式框架和编程接口,还有一体化的存储计算方案,简化了大型计算存储业务开发、使用、管理维护问题。

https://static001.geekbang.org/infoq/c8/c80fbee24b3745cdb589f3d617ef1d14.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对象存储 S3 在分布式文件系统中的应用

用户头像
焱融科技
2022-05-30

当前,业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋,文件存储不仅能兼顾多个应用和多个用户访问,更突出的优势是方便文件共享;对象存储凭借灵活性和扁平架构得到了广泛的好评,容量达到 EB 级以上,实现理论上的对

https://static001.geekbang.org/infoq/c6/c6b488337b18f7cce8a9c561e4433f0e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Laxcus 分布式操作系统三代 UI 演进之路

UI做为实现人机交互的入口,一直是Laxcus分布式操作系统的重点研发对象,目前已经发展到第三代,经历了从字符界面到图形界面的发展过程。这个发展过程,极似当年的Dos、Windows、Linux,把它们曾经在UI界面上走过的路,一个不拉地走了一遍。路上遇到的坑,出

https://static001.geekbang.org/infoq/49/494f9926ce564448ca1066c4760f62a9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

LAXCUS 分布式操作系统:云盘的使用

Laxcus分布式操作系统从6.0版本开始,云存储做为系统功能的一部分,被集成进来和其它功能一起使用。Laxcus云存储,也就是目前市场上所说的网盘、云盘、云空间。和其它云盘不一样的是,Laxcus的云盘服务器端不限速,云盘容量也不限制,只要你的带宽和存储空间

https://static001.geekbang.org/infoq/4b/4b9e8c391c6c0b489a982c71835ae000.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

都是分布式操作系统,Laxcus 和鸿蒙有何不同?

很多用户在初次听到Laxcus分布式操作系统时,因为“分布式操作系统”这个名词,想当然把Laxcus和鸿蒙划上等号。其实熟悉Laxcus分布式操作系统的人都知道,这两个产品除了操作系统本身这个属性之外,几乎没有相同之处,就连“分布式”也不是一个概念。今天不谈

https://static001.geekbang.org/infoq/30/30b431f51a81646a5df75fa2758eeae7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Curve 加入 PolarDB 开源数据库社区,强化分布式共享存储

用户头像
网易数帆
2022-03-03

Curve社区签署阿里巴巴开源CLA(Contribution License Agreement, 贡献许可协议),正式与阿里云PolarDB 开源数据库社区牵手,成为继 CurveFS 发布之后,Curve 开源项目发展的又一里程碑。

Ceph 核心概念解读

本文对Ceph中涉及到的概念进行解释分析,通读本文可以对ceph有一个比较全面的认识。

https://static001.geekbang.org/infoq/dd/dd627fe04ec552d44ffe3be25e90ed80.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对象存储手把手教七 | 存储空间授权策略 Bucket Policy

在第五期的文章中,我们曾以“乔巴的大包”为例,讲述了 QingStor 对象存储中关于数据存取及加密相关的知识。今天,作者将继续用“乔巴的大包”来为大家解读存储空间的授权问题。

Pulsar 分级存储 -- S3 演示

用户头像
Apache Pulsar
2021-11-24

本文会首先介绍Pulsar的分级存储。然后通过一个示例,演示在分级存储中怎样使用Amazon S3作为二级存储。

https://static001.geekbang.org/infoq/e7/e74b4927089de73945b50ac7a1748741.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

存储大师班 | 浅谈 RDMA 与无损网络

教你为 RDMA 搭建一套不丢包的无损网络!

https://static001.geekbang.org/infoq/3c/3cd23860f0920b48d636e5c437d0fa5f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

存储大师班 | 浅谈数据保护之快照与备份

快照和备份都是数据保护的一种手段,但却是两种不同的概念!

https://static001.geekbang.org/infoq/fd/fd5f4859f28880513067ab72f801dfb7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对象存储手把手教五 | 数据存取与加密

随着航海征程的推进,乔巴的背包是越来越鼓,也越来越大了。看着轻装上阵的伙伴们,它的内心是复杂的。

https://static001.geekbang.org/infoq/14/140f559c47750d13b4d2d78aee382b24.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

灰度再度增持!!!Filecoin 可投资吗?Filecoin 值得投资吗?

2021-09-08

伴随着Web3.0时代的到来,Filecoin正在改变互联网世界,在大数据、5G、人工智能等技术迅速发展的今天,加速了全球数字化进程。近期,全球最大数字货币资产管理公司灰度再度对FIL进行了增持,Filecoin值得投资吗?要怎么投资filecoin?

https://static001.geekbang.org/infoq/62/629b68b6e16751e3e121fda48575c394.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Filecoin 价格今日走势:filecoin 暴涨!Filecoin 未来会涨到多少钱?

2021-09-07

自8月初到现在,filecoin价格强势回转,一度上涨超过 60%,引发广泛关注,让所有 FIL 粉丝为之兴奋。今天小编就来跟大家聊聊:Filecoin价格今日走势:filecoin暴涨!Filecoin未来会涨到多少钱?

分布式存储_分布式存储技术文章_InfoQ写作社区