写点什么

文件存储

0 人感兴趣 · 89 次引用

  • 最新
  • 推荐

如何将千亿文件放进一个文件系统,EuroSys'23 CFS 论文背后的故事

这是一个技术创新的故事。文件存储 CFS 技术负责人、项目过程的主导者之一,对百度沧海·存储团队发表于 EuroSys 2023 的论文进行一次技术解读和创新历程分享。

https://static001.geekbang.org/infoq/34/34074771e57ab1a7c256e636bf762b99.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

加速信创生态建设 焱融科技与优炫软件完成兼容性互认证

近日,焱融科技自主研发的焱融分布式文件存储产品 YRCloudFile 与优炫软件的优炫数据库管理系统 V2.1,经双方协同测试,已完成兼容性认证,双方产品完全兼容,运行稳定,安全可靠,可为各类信息化应用提供保障。

云原生文件存储 CFS 线性扩展到千亿级文件数,百度沧海·存储论文被 EuroSys 2023 录用

论文介绍了百度智能云 CFS 文件存储元数据系统的核心设计,对长期困扰文件系统元数据领域的 POSIX 兼容性和高扩展性(特别是写扩展性)难以兼顾的问题,进行了解答。

详细讲解 spdk 里的 examples/nvmf/nvmf/nvmf.c 文件

首先,nvmf.c是SPDK(Storage Performance Development Kit)中nvmf(Non-Volatile Memory Express over Fabrics)的示例代码。它用于演示如何使用SPDK实现NVMf的服务器端代码。该文件实现了一个NVMf Target(即服务器端)应用程序,以提供NVMf命名空间(例如

https://static001.geekbang.org/infoq/fc/fc0d73b615d687d4746f33bcf053cc23.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融 YRCloudFile 在海量小文件场景训练加速优化策略

今天,我们将探讨在 AI 训练场景中如何进行海量小文件的性能优化,由于训练场景中的文件访问都是以只读方式打开的,所以本文将着重介绍只读小文件的优化部分。

https://static001.geekbang.org/infoq/9c/9c72318e50bb60439a1616c79a0a3c3d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技助力海尔集团上云 加速“智能制造”进程

焱融科技作为国内唯一能够在各种云环境下提供高性能存储的解决方案的厂商、高效的 POC 测试和紧密的合作使海尔创新中心在 2 周的时间内完成了用户业务的数据迁移。

https://static001.geekbang.org/infoq/31/318c5a709efba0532ca5ebba7e2935dd.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

赋能数字经济新动能 焱融科技获评「人工智能高质量发展 - 行业责任担当」企业

近日,以“礼赞新时代 智创新未来”为主题的全球人工智能生态大会暨深圳市人工智能行业协会第二届第二次会员大会在深圳圆满举办。焱融科技受邀参加了此次会议,并获评“人工智能高质量发展——行业责任担当”企业。

https://static001.geekbang.org/infoq/cd/cd860abcd12bf00a05925b29df5ac917.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技荣登《2022 中国企业数智化创新 TOP50》榜单

由中国信通院 EDCC 企业数字化发展共建共享平台指导,笔记侠 & InfoQ 联合发布的“2022中国企业数智化创新TOP50”榜单于近日揭晓。凭借在数智化科技创新方面的突出能力和优秀实践,焱融科技成功入选其细分赛道之——数智化科技创新 TOP20。

https://static001.geekbang.org/infoq/9c/9c3f8dc17fb641fd23b5e104b2c6f872.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融为国家电网打造存算一体的融合基础架构 助推能源行业新基建

电力能源行业经过多年转型已经从传统模式向智能化、数字化方向落地,并且业务中大量运用3D 技术、人工智能技术,这些业务都依托海量数据支撑,数据即资产已经深入到行业,成为生产力不可或缺的一部分,有效利用业务数据创造价值是 IT 基础建设重点发力方向。

https://static001.geekbang.org/infoq/d7/d72de580f5777c4a2c324a196513cbe0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

最佳实践|焱融全闪存储实现与美的集团破千万 IOPS 性能

焱融全闪文件存储完成国内制造业首个双 200Gb 网络聚合分布式文件存储集群部署,实现 AI 计算平台破千万 IOPS 性能。

https://static001.geekbang.org/infoq/e2/e214caf12f144043307faac8cfb1fe29.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式存储中建立高效回收站的设计思考

我们希望分布式文件系统下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题,不能去影响正常的io请求,在恢复的时候是一个比较轻的操作,并且需要有一定的扩展性。

https://static001.geekbang.org/infoq/b2/b2bc42feb7c76a931b6486b91f51e52a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技发布国内首个 NVIDIA DGX A100 + 全闪存储参考架构白皮书

焱融科技作为业界领先的分布式文件存储厂商于近日发布国内首个NVIDIA DGX A100 + 全闪存储参考架构白皮书。

https://static001.geekbang.org/infoq/38/38ce778521d2c6a29395ffbbccd28ebc.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

万亿级对象存储的元数据系统架构设计和实践

百度沧海·存储通过新一代元数据系统的设计和实践,使得对象存储 BOS 可以单桶支持万亿对象数、百万 QPS,并且支撑了原生层级 Namespace 的上线和智能生命周期的升级等

https://static001.geekbang.org/infoq/ca/ca3fe80c2aa964517d1bb45d297b3ada.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融全闪系列科普| 为什么 SSD 需要 NVMe?

用户头像
焱融科技
2022-12-02

随着 SSD 硬盘技术的不断演进,目前大多数机械硬盘使用的 SATA 已不再满足 SSD 高性能和低延迟的需求,NVMe 应运而生。欢迎阅读本文,了解 NVMe SSD 如何充分释放全闪超强性能!

https://static001.geekbang.org/infoq/42/426a05fd6ceb182671d665681730e1d8.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技为国家重点实验室打造海量高性能存储

用户头像
焱融科技
2022-11-30

地球系统模式是模拟气候系统行为和变化的重要工具,在气候研究中扮演着重要的角色,对高性能计算有着极高的要求。LASG 作为蜚声国内外的大气科学和地球流体力学研究机构,为何选择焱融科技 YRCloudFile 文件存储系统?

https://static001.geekbang.org/infoq/28/285bc14ee1a69693320d692c89e4252d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

YRCloudFile V6.9.0 加速企业在大数据应用技术创新

用户头像
焱融科技
2022-11-18

焱融科技分布式文件存储产品 YRCloudFile 6.9.0 版本重磅发布,该版本在功能和性能方面有多项技术性突破。

https://static001.geekbang.org/infoq/85/8514eb1302a9799cbffe1d6e1fe3cc98.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

直播预告|全闪文件存储在 AI 大数据领域的前沿应用

用户头像
焱融科技
2022-11-16

11月17日(本周四)晚 7 点,YRCloudFile 存储架构师李勇将与英伟达网络高级产品经理陈龙一起,就 AI 大数据领域如何实现存储容量和性能呈现线性方式增长,帮助 AI 企业加速业务流程进行深度讨论。

https://static001.geekbang.org/infoq/93/93e0fc3326a0385bd70d6e3c454d30b9.gif?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融全闪系列科普|固态存储核心技术 SSD

用户头像
焱融科技
2022-11-11

如今,全闪存储成为未来存储的主流趋势,焱融追光 F8000X 全闪文件存储作为国内全闪分布式文件存储性能旗舰产品,在高性能文件存储赛道上一直跑在最前面。为更清晰地理解全闪的前沿应用,我们将不定期分享全闪系列科普,本期我们先聊聊固态存储核心技术 SSD。

https://static001.geekbang.org/infoq/c0/c02949c615ab89a549890f7907e433f7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Curve 文件存储:如何支撑百亿级文件?

用户头像
网易数帆
2022-11-11

Curve 文件系统如何保证可以支撑百亿级规模?如何保证在百亿级规模下的性能?

https://static001.geekbang.org/infoq/ca/ca3fe80c2aa964517d1bb45d297b3ada.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入浅出文件系统新形态

用户头像
焱融科技
2022-11-07

本文通过分享几款国外比较有特点的 Global File System 产品,通俗易懂地剖析其解决方案的侧重及功能的异同。希望能给大家带来文件系统开发的一些设计思路与方法。

https://static001.geekbang.org/infoq/3c/3c0555570b0434d4d3415504e9f123e1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

你用对了么?对象文件网关 VS 分布式文件存储

用户头像
焱融科技
2022-09-26

​对象文件网关 VS 分布式文件存储:产品架构在设计思路上到底有何不同?优劣势体现在哪里?各自适合怎样的应用场景和业务?

https://static001.geekbang.org/infoq/fd/fdd5a3b7238650428265c4909d24d641.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

什么是文件存储?与对象存储有什么区别?

用户头像
wljslmz
2022-08-18

文件存储是一个比较古老但非常简单的存储方式,大量应用在本地文件共享、集中式文件协作、归档/存储、备份/灾难恢复以及现在比较火的人工智能机器学习、视频流、音频流等。希望本文简短的介绍能让您学习到文件存储的知识。

https://static001.geekbang.org/infoq/5a/5a8b0114a6399504e4e8f9699bdab8f0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技入选“2022 中关村国际前沿科技创新大赛”大数据与云计算领域 TOP10

用户头像
焱融科技
2022-08-11

8 月 9 日,2022 中关村国际前沿科技创新大赛“中关村银行杯”大数据与云计算领域决赛在北京市门头沟区中关村(京西)人工智能科技园·智能文创园举办。经过现场大会专家委员会独立、公平、专业的评审,焱融科技强势入选分领域 TOP10 榜单。

https://static001.geekbang.org/infoq/fc/fc0efb5b553947bfa1e63e33d2ec7e62.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

打破文件锁限制,以存储力量助力企业增长新动力

用户头像
焱融科技
2022-08-01

在多进程共享的应用程序中,通过“锁”来对同一个计算资源进行协同是非常常见的做法。当我们触发到文件锁的限制导致报错时,该怎么办呢?

https://static001.geekbang.org/infoq/f8/f8b71a030b943157a1f3eed8670edc52.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从存储角度看自动驾驶必经之路

用户头像
焱融科技
2022-07-27

软件驱动的车辆具有独特的记录和共享能力,有效帮助企业利用车辆数据实现真正个性化驾驶体验。如今,车辆数据将成为推动我们数字革命时代的新催化剂,本期我们从存储角度出发,看看我们应该如何从容应对自动驾驶数据洪流。

https://static001.geekbang.org/infoq/c8/c80fbee24b3745cdb589f3d617ef1d14.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

详解分布式系统的幂等

用户头像
焱融科技
2022-07-27

分布式系统是一个非常庞大且复杂的系统,幂等只是其中非常重要且复杂的问题之一,不同的系统对于幂等有着不同的需求,一起阅读最新的技术科普小文。

https://static001.geekbang.org/infoq/db/db9de478a8f29be3c6c8bf0a6cae443b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融全闪 X NVIDIA InfiniBand:打造 AI 时代 GPU 计算的高性能存储技术

用户头像
焱融科技
2022-07-13

为了解决传统存储方案带来的挑战,焱融追光 F8000X 携手 NVIDIA Quantum InfiniBand 为 GPU 计算服务器和存储设备之间构建了高带宽和低延迟数据传输网络。

https://static001.geekbang.org/infoq/c8/c80fbee24b3745cdb589f3d617ef1d14.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

AddressSanitizer 技术初体验

用户头像
焱融科技
2022-07-06

AddressSanitizer 的出现,使得相关 bug 的定位和解决问题的难度都得到了下降,并加快项目的进度。今天,焱融科技将分享如何实现 AddressSanitizer 技术落地。

https://static001.geekbang.org/infoq/f8/f8b71a030b943157a1f3eed8670edc52.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融看 | 混合云时代下,如何制定多云策略

用户头像
焱融科技
2022-07-01

随着企业IT基础设施演进到混合云架构,如何高效、安全、低成本地管理混合云成为企业不得不面对的问题。今天,我们来一起看看如何制定一个迁移到多云环境的策略。

https://static001.geekbang.org/infoq/f8/f8b71a030b943157a1f3eed8670edc52.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融看|非结构化数据场景下,数据湖到底有多香?

用户头像
焱融科技
2022-06-01

由于过去缺乏有效的数据处理机制,导致有大量数据分散于各处,难以管理。此时,数据湖应运而生,那么什么是数据湖呢?今天,焱融看带大家来一探究竟,看看它到底是什么,究竟有多香。

文件存储_文件存储技术文章_InfoQ写作社区