Curve v2.7 发布:支持 Hadoop SDK,助力大数据存储降本提效背景
简介
Curve v2.7 正式发布了,该版本主要支持了 Quota 和 Hadoop SDK 以及一些性能优化,下面将简单介绍下该版本的一些重点内容。
Feature:支持 Quota
在 v2.7 中我们支持了 Quota 机制,让用户可以根据需要设置指定文件系统的容量上限, 用户可以使用 curve
工具来进行相应设置:
Feature:支持 Hadoop SDK
为了让 curve 更好地支持大数据场景,我们在本版本中提供 HDFS 接口兼容的 Java 客户端,让大数据生态的各组件可以平滑地使用 CurveFS 中的数据,支持 Hadoop 2.0 和 3.0。
用户只需要两步就可以轻松使用 Hadoop SDK:
第一步:编译 SDK
一旦编译成功,将会生成一个 jar 包,用户需将该 Jar 包拷贝至个组件的 classpath 内,如 Hadoop 为 ${HADOOP_HOME}/share/hadoop/common/lib/
第二步:修改各组件配置文件(一般为 core-site.xml)
CurveFS 所有配置项都可以填在 core-site.xml 中,只要将对应的配置项名加上 curvefs. 前缀即可,如 fs.accessLogging 在 core-site.xml 中需写成 curvefs.fs.accessLogging。特别需要注意的是以下几个配置项必须正确填写:
另外需要注意的是,用户的 FS 需要提前利用 curve 工具创建好
其他变更
Feature:MetaServer 支持了异步快照
Feature: 支持在 Openeuler 22.03-lts-sp2 平台上运行 CurveFS
Feature: 为 curve 新版工具增加了更多使用命令
Improve:优化了读放大问题,特别是针对 memcache 缓存
Improve: 拆分 MetaServer Raft 读写应用队列
Bugfix: 修复了 diskcache LRU bug,该 BUG 可能导致写入的缓存无法转成读缓存,从而降低缓存命中率
完整变更详见:v2.7 changelog
感谢
Curve v2.7 的开发吸引了众多开发者的积极参与,我们衷心感谢以下 contributor。大家的热爱与贡献凝聚了开源的巨大力量,为 Curve 持续迭代提供了宝贵的支持。我们期待更多的开发者加入 Curve 社区,共同书写属于我们的极客新篇章。
------ END. ------
🔥 开发者活动:
🔥 用户案例:
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践
🔥 技术解析:
探索 : CurveBS 模拟 RBD 接口对接 OpenStackCurve 混闪之性能优化记录
关于 Curve
Curve 是一款高性能、易运维、云原生的开源分布式存储系统。可应用于主流的云原生基础设施平台:对接 OpenStack 平台为云主机提供高性能块存储服务;对接 Kubernetes 为其提供 RWO、RWX 等类型的持久化存储卷;对接 PolarFS 作为云原生数据库的高性能存储底座,完美支持云原生数据库的存算分离架构。
Curve 亦可作为云存储中间件使用 S3 兼容的对象存储作为数据存储引擎,为公有云用户提供高性价比的共享文件存储。
GitHub:https://github.com/opencurve/curve
官网:https://opencurve.io/
用户论坛:https://ask.opencurve.io/
微信群:搜索群助手微信号 OpenCurve_bot
版权声明: 本文为 InfoQ 作者【OpenCurve】的原创文章。
原文链接:【http://xie.infoq.cn/article/2917ad8c2f167c7082661c1ee】。文章转载请联系作者。
评论