分布式文件存储_分布式文件存储技术文章

分布式文件存储

0 人感兴趣 · 31 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/fc/fc0d73b615d687d4746f33bcf053cc23.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融 YRCloudFile 在海量小文件场景训练加速优化策略

焱融科技

03-28

今天，我们将探讨在 AI 训练场景中如何进行海量小文件的性能优化，由于训练场景中的文件访问都是以只读方式打开的，所以本文将着重介绍只读小文件的优化部分。

文件存储容器存储分布式文件存储高性能存储全闪存储

https://static001.geekbang.org/infoq/9c/9c72318e50bb60439a1616c79a0a3c3d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技助力海尔集团上云加速“智能制造”进程

焱融科技

03-27

焱融科技作为国内唯一能够在各种云环境下提供高性能存储的解决方案的厂商、高效的 POC 测试和紧密的合作使海尔创新中心在 2 周的时间内完成了用户业务的数据迁移。

文件存储分布式存储容器存储分布式文件存储 #高性能

https://static001.geekbang.org/infoq/31/318c5a709efba0532ca5ebba7e2935dd.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

赋能数字经济新动能焱融科技获评「人工智能高质量发展 - 行业责任担当」企业

焱融科技

03-22

近日，以“礼赞新时代智创新未来”为主题的全球人工智能生态大会暨深圳市人工智能行业协会第二届第二次会员大会在深圳圆满举办。焱融科技受邀参加了此次会议，并获评“人工智能高质量发展——行业责任担当”企业。

人工智能文件存储容器存储分布式文件存储全闪存储

https://static001.geekbang.org/infoq/cd/cd860abcd12bf00a05925b29df5ac917.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技荣登《2022 中国企业数智化创新 TOP50》榜单

焱融科技

03-17

由中国信通院 EDCC 企业数字化发展共建共享平台指导，笔记侠 & InfoQ 联合发布的“2022中国企业数智化创新TOP50”榜单于近日揭晓。凭借在数智化科技创新方面的突出能力和优秀实践，焱融科技成功入选其细分赛道之——数智化科技创新 TOP20。

文件存储分布式文件存储数智化高性能存储全闪存储

https://static001.geekbang.org/infoq/9c/9c3f8dc17fb641fd23b5e104b2c6f872.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融为国家电网打造存算一体的融合基础架构助推能源行业新基建

焱融科技

03-17

电力能源行业经过多年转型已经从传统模式向智能化、数字化方向落地，并且业务中大量运用3D 技术、人工智能技术，这些业务都依托海量数据支撑，数据即资产已经深入到行业，成为生产力不可或缺的一部分，有效利用业务数据创造价值是 IT 基础建设重点发力方向。

文件存储容器存储分布式文件存储高性能存储国家电网

https://static001.geekbang.org/infoq/d7/d72de580f5777c4a2c324a196513cbe0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

最佳实践｜焱融全闪存储实现与美的集团破千万 IOPS 性能

焱融科技

03-16

焱融全闪文件存储完成国内制造业首个双 200Gb 网络聚合分布式文件存储集群部署，实现 AI 计算平台破千万 IOPS 性能。

文件存储分布式文件存储高性能存储全闪存储美的

https://static001.geekbang.org/infoq/e2/e214caf12f144043307faac8cfb1fe29.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式存储中建立高效回收站的设计思考

焱融科技

03-16

我们希望分布式文件系统下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题，不能去影响正常的io请求，在恢复的时候是一个比较轻的操作，并且需要有一定的扩展性。

文件存储分布式文件存储回收站高性能存储全闪存储

https://static001.geekbang.org/infoq/02/025e592c1f0bd7af34e5b7af0a137f34.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

国内首发｜焱融科技 YRCloudFile 支持 NVIDIA GPUDirect Storage（GDS）

焱融科技

03-16

为更加完美地满足大规模计算集群对于存储系统的数据访问需求，焱融技术团队历时 6 个月的时间完成对 NVIDIA GPUDirect Storage（GDS）的适配开发，实现以直接内存的存取方式，将数据传输至 GPU 内存上，显著降低 I/O 延迟，提升数据带宽。

人工智能分布式存储分布式文件存储全闪存储 GPT-4

https://static001.geekbang.org/infoq/b2/b2bc42feb7c76a931b6486b91f51e52a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技发布国内首个 NVIDIA DGX A100 + 全闪存储参考架构白皮书

焱融科技

03-15

焱融科技作为业界领先的分布式文件存储厂商于近日发布国内首个NVIDIA DGX A100 + 全闪存储参考架构白皮书。

文件存储容器存储分布式文件存储高性能存储全闪存储

https://static001.geekbang.org/infoq/5a/5a8b0114a6399504e4e8f9699bdab8f0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技入选“2022 中关村国际前沿科技创新大赛”大数据与云计算领域 TOP10

焱融科技

2022-08-11

8 月 9 日，2022 中关村国际前沿科技创新大赛“中关村银行杯”大数据与云计算领域决赛在北京市门头沟区中关村（京西）人工智能科技园·智能文创园举办。经过现场大会专家委员会独立、公平、专业的评审，焱融科技强势入选分领域 TOP10 榜单。

文件存储分布式文件存储获奖

https://static001.geekbang.org/infoq/fc/fc0efb5b553947bfa1e63e33d2ec7e62.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

混合云存储点燃万亿自动驾驶市场，加速产品落地

焱融科技

2022-08-05

目前，国内 AI 行业存在 IT 经验不足，导致在建设上出现水平层次不同的情况。今天，我们结合当前在 AI 行业自动驾驶场景，分享如何利用跨云异构数据整合能力推动业务发展。

自动驾驶 AI 分布式文件存储全闪

打破文件锁限制，以存储力量助力企业增长新动力

焱融科技

2022-08-01

在多进程共享的应用程序中，通过“锁”来对同一个计算资源进行协同是非常常见的做法。当我们触发到文件锁的限制导致报错时，该怎么办呢？

存储文件存储分布式文件存储文件锁

https://static001.geekbang.org/infoq/f8/f8b71a030b943157a1f3eed8670edc52.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从存储角度看自动驾驶必经之路

焱融科技

2022-07-27

软件驱动的车辆具有独特的记录和共享能力，有效帮助企业利用车辆数据实现真正个性化驾驶体验。如今，车辆数据将成为推动我们数字革命时代的新催化剂，本期我们从存储角度出发，看看我们应该如何从容应对自动驾驶数据洪流。

人工智能自动驾驶存储文件存储分布式文件存储

https://static001.geekbang.org/infoq/db/db9de478a8f29be3c6c8bf0a6cae443b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融全闪 X NVIDIA InfiniBand：打造 AI 时代 GPU 计算的高性能存储技术

焱融科技

2022-07-13

为了解决传统存储方案带来的挑战，焱融追光 F8000X 携手 NVIDIA Quantum InfiniBand 为 GPU 计算服务器和存储设备之间构建了高带宽和低延迟数据传输网络。

存储文件存储分布式文件存储全闪

https://static001.geekbang.org/infoq/c8/c80fbee24b3745cdb589f3d617ef1d14.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

AddressSanitizer 技术初体验

焱融科技

2022-07-06

AddressSanitizer 的出现，使得相关 bug 的定位和解决问题的难度都得到了下降，并加快项目的进度。今天，焱融科技将分享如何实现 AddressSanitizer 技术落地。

内存泄露存储文件存储分布式文件存储

焱融看｜非结构化数据场景下，数据湖到底有多香？

焱融科技

2022-06-01

由于过去缺乏有效的数据处理机制，导致有大量数据分散于各处，难以管理。此时，数据湖应运而生，那么什么是数据湖呢？今天，焱融看带大家来一探究竟，看看它到底是什么，究竟有多香。

数据湖文件存储非结构化数据分布式文件存储分布式文件系统

https://static001.geekbang.org/infoq/b4/b4f97b7c53f30143907e1da2c1e31327.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式文件存储系统 Minio 实战

Fox

2021-10-16

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

Minio 分布式文件存储

Minio 环境搭建

Fox

2021-10-16

Minio环境搭建

Minio 分布式文件存储

https://static001.geekbang.org/infoq/59/59509bdce17bd8a5fd848283e058c3cc.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

存储大师班 | NFS 的诞生与成长

QingStor分布式存储

2021-07-23

存储文件是大家日常工作生活中最常见的需求，随着文件数量和占用存储空间的上升，我们自然需要把存储文件的工作从单个计算机设备中剥离出来，作为一个单独的服务资源(或物理硬件)来对外提供存储功能，提供更大的容量的同时，为多个终端通过网络共享访问。

分布式存储分布式文件存储 NAS NFS

https://static001.geekbang.org/infoq/f7/f748ab2444463abbf50bcdde45c4cf77.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何提升存储性能之 IO 模型和 AIO 大揭秘

焱融科技

2020-11-13

如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。

数据 io 存储焱融科技分布式文件存储

https://static001.geekbang.org/infoq/9a/9a1a6c4a08dbae56805f54a0c66d16a7.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式文件存储 QoS 硬核黑科技，真香

焱融科技

2020-10-27

存储服务质量（QoS）是用于为应用保证指定存储性能的技术，它确保特定应用程序或工作负载始终获得特定的访问性能。QoS是解决存储资源争用的有效手段，主要用于不同业务之间的资源争用和存储内部资源争用（如故障情况下，内部数据恢复和正常业务访问之间产生的

高性能存储 HPC 分布式文件存储 QoS

https://static001.geekbang.org/infoq/ad/ad39d53d4735c8e4f68efdc9a2a85eb4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

「深度解析」告诉你如何选择容器存储

焱融科技

2020-10-27

随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。

Kubernetes 容器云原生焱融科技分布式文件存储

https://static001.geekbang.org/infoq/ed/ed080d0ad4fc2fa8f24a84b093675098.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Java 客户端操作 FastDFS 实现文件上传下载替换删除

哈喽沃德先生

2020-10-10

通过 Java API 操作 FastDFS 实现文件的上传、下载、替换、删除、查询元数据、查询详情等功能。

Java 文件系统分布式文件存储 fastdfs 文件服务器

https://static001.geekbang.org/infoq/99/9962387e55d75dcfc61aed6b2934cc23.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Nginx 整合 FastDFS 实现文件服务器

哈喽沃德先生

2020-10-09

上一篇文章《FastDFS 分布式文件系统详解》中带大家详细了解它的核心概念，架构体系及 FastDFS 环境的搭建与使用。但是此时还无法通过 HTTP 对文件进行访问，这篇文章将带大家解决这个问题。

nginx 文件系统分布式文件存储 fastdfs 文件服务器

https://static001.geekbang.org/infoq/23/232c805619dc68edf3600b70ed65725b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

FastDFS 分布式文件系统详解

哈喽沃德先生

2020-09-30

　　什么是文件系统？什么又是文件服务器？点进来学习这款国人开发的轻量级高性能分布式文件系统 FastDFS。一篇搞定 FastDFS 分布式文件系统的核心概念、环境搭建及使用。

文件系统分布式文件存储 fastdfs 分布式文件

https://static001.geekbang.org/infoq/b1/b1fc25ad8e6a8087befaad8385b8f4a6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式 QoS 算法解析

焱融科技

2020-09-03

QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题

分布式算法焱融科技分布式文件存储 QoS

https://static001.geekbang.org/infoq/35/35865d3867a557780e58300edc1ec35f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

SWARM 学习 1——Kademlia 分布式路由表协议

AIbot

2020-08-19

@2020-08-19, AIbot

区块链 DHT 分布式存储分布式文件存储分布式路由

https://static001.geekbang.org/infoq/3c/3c4a4213b1148f8e32e34073b151f9a5.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DSN 主流项目调研 2——Sia 和 SAFE Network

AIbot

2020-08-13

Sia是一个早期项目，于 2013 年在 HackMIT 启动，2015 年正式启动。它旨在将需要文件存储的用户与全球提供的、未充分利用的硬盘容量的主机连接起来。使用区块链技术保护其数据，为用户和主机提供更划算的存储方案。

区块链分布式存储分布式文件存储 Sia SAFENetwork

https://static001.geekbang.org/infoq/9f/9ff2a5bc175e69da08af0100ec3d4e96.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DSN 主流项目调研 1——Storj 和 Arweave 的简介

AIbot

2020-08-12

另一个基于以太坊网络的分散存储项目，它拥有相当多的社区用户，致力于开源和用户体验精神。Storj 是一个平台、加密货币和一套分散式应用程序，允许您以安全和分散的方式存储数据。

分布式存储区块链+分布式文件存储 Storj Arweave

https://static001.geekbang.org/infoq/bd/bd70ab46a63cf4bbfe23eec98ded0368.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DSN 主流项目调研 0——IPFS&&Filecoin 白皮书总结

AIbot

2020-08-12

IPFS项目是ProtoLab实验室推出的第二大开源项目，依托实验室之前推出的MultiFormat、Libp2p和IPLD三个项目组织而成。

区块链分布式存储分布式文件存储 IPFS Filecoin

创作场景

分布式文件存储

推荐作者

推荐标签