写点什么

分布式系统

0 人感兴趣 · 80 次引用

  • 最新
  • 推荐

为什么要使用 zookeeper

用户头像
Jerry Tse
14 小时前

本文标题为《为什么要使用zookeeper》,但是本文并不是专门介绍zookeeper原理及其使用方法的文章。如果你在网上搜索为什么要使用zookeeper,一定能能到从zookeeper原理、适用场景到Zab算法原理等各种各样的介绍,但是看过之后是不是还是懵懵懂懂,只是学会了

https://static001.geekbang.org/infoq/07/079efddc31d0fae1c31a081bf72a11b7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式系统的主键生成方案对比 | 京东云技术团队

​UUID(通用唯一识别码)是由32个十六进制数组成的无序字符串,通过一定的算法计算出来。为了保证其唯一性,UUID规范定义了包括网卡MAC地址、时间戳、名字空间(Namespace)、随机或伪随机数、时序等元素,以及从这些元素生成UUID的算法。一般来说,算法可以

https://static001.geekbang.org/infoq/84/84d110098d72663377e444595a4ba0b6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

技术看点:基于多副本的 IO 负载均衡思考

分布式存储解决了传统存储的很多卡脖子的问题,其中包括可让数据均匀地分散在设备上存储,从而保障了某个节点宕掉的话还有其它节点可用让业务连续。

https://static001.geekbang.org/infoq/ca/ca0b66fac345ad6e7c074c195adb84f9.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

鹏云块存储在多副本情况下,如何兼顾数据一致性和效率?

分布式系统中一个重要的问题就是数据复制(data replication),数据复制一般是为了增强系统的可用性或提高性能。在保持多副本的情况下,有一个副本不可用,系统切换到其他副本就会恢复。

https://static001.geekbang.org/infoq/d4/d4b20c1adc6bb673db108163c8231a63.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

专利技术系列 001 | 鹏云网络分布式系统脑裂问题解决方案

随着业务的快速发展,业务的复杂性越来越高,目前大部分企业都在从集中式走向分布式。 但在分布式系统中,经常会出现“脑裂(split-brain)”问题,造成数据丢失与损坏,极易影响企业业务系统的稳定运行。 针对“脑裂问题”,看鹏云网络是怎么解决的。

https://static001.geekbang.org/infoq/e5/e5cef8e6acc85b1ac2fbb0ef24d72a70.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

阿里云机器学习 PAI 发布基于 HLO 的全自动分布式系统 TePDist,并宣布开源!

TePDist是阿里云PAI团队自研的基于HLO IR层的全自动分布式深度学习系统,它不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,有效地解决了深度学习模型并行策略的自动搜索与分布式策略实施问题。

https://static001.geekbang.org/infoq/0f/0ff5b33d3b745c474770d722064626b0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

架构师日记 - 为什么数据一致性那么难

在现代大型分布式软件系统中,有一个绕不过去的课题,那就是如何保证系统的数据一致性。著名的Paxos算法(Megastore、Spanner),Raft协议(ETCD、TiKV、Consul ),ZAB协议(ZooKeeper)等分布式一致性解决方案,都是在此背景下而诞生的

https://static001.geekbang.org/infoq/54/54b26c015d2612a996e54fd5bdb547f9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

强烈推荐!阿里架构师纯手写的大型分布式项目《凤凰架构》手册

分布式系统架构,顾名思义,就是将多软件架构设计分散开来,运行在多个服务器上。当今,分布式系统架构思维充斥着互联网企业的每个角落,那么分布式系统架构有何与众不同,能够抢占互联网市场呢。本文将就分布式系统架构对比单体架构的优势、分布式系统架构的

https://static001.geekbang.org/infoq/c8/c85515f87fd56a899aa2fb128a460cc5.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

拜占庭将军问题和 Raft 共识算法讲解

在分布式系统中, 什么是拜占庭将军问题?什么是 Raft 共识算法?Raft 算法是如何解决拜占庭将军问题的?除了 Raft,还有哪些共识算法?共识问题作为分布式系统的一大难点和痛点,本文主要介绍了其产生的背景、原因,以及通用的 Raft 算法解决方案。

https://static001.geekbang.org/infoq/f8/f80b1e3c69f14a1eec4a26163628190e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

使用 MinIO 构建分布式文件系统来一次分布式文件系统实战!

随着文件数据的越来越多,传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求,也不利于文件的管理和维护,这就需要一个系统来管理多台计算机节点上的文件数据,这就是分布式文件系统。

分布式系统 -CAP 理论

在前一篇分布式系统–拜占庭将军问题(The Byzantine Generals Problem) 我们理解了共识问题的背景,这一节主要讨论如何解决或者理解自己系统中的共识问题,通过什么来分辨自己的系统需要哪一种共识。

Chaos 测试下的若干 NebulaGraph Raft 问题分析

用户头像
NebulaGraph
2022-12-14

作为分布式系统的基石 Raft 有非常明显的优势,但这也伴随着不小的挑战 —— Raft 算法的实现及其容易出错,同时算法的测试和调试也是一项巨大的挑战。

https://static001.geekbang.org/infoq/42/426a05fd6ceb182671d665681730e1d8.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

焱融科技为国家重点实验室打造海量高性能存储

用户头像
焱融科技
2022-11-30

地球系统模式是模拟气候系统行为和变化的重要工具,在气候研究中扮演着重要的角色,对高性能计算有着极高的要求。LASG 作为蜚声国内外的大气科学和地球流体力学研究机构,为何选择焱融科技 YRCloudFile 文件存储系统?

https://static001.geekbang.org/infoq/ca/ca3fe80c2aa964517d1bb45d297b3ada.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式存储之 etcd 的集群管理

用户头像
焱融科技
2022-11-24

在分布式文件存储中,我们通常会面临集群选主,配置共享和节点状态监控的问题。通过 etcd(基于 Raft 协议)可以实现超大规模集群的管理,以及多节点的服务可靠性。今天,我们就聊聊 etcd 在分布式存储中的具体应用。

https://static001.geekbang.org/infoq/28/285bc14ee1a69693320d692c89e4252d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

YRCloudFile V6.9.0 加速企业在大数据应用技术创新

用户头像
焱融科技
2022-11-18

焱融科技分布式文件存储产品 YRCloudFile 6.9.0 版本重磅发布,该版本在功能和性能方面有多项技术性突破。

https://static001.geekbang.org/infoq/85/8514eb1302a9799cbffe1d6e1fe3cc98.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

直播预告|全闪文件存储在 AI 大数据领域的前沿应用

用户头像
焱融科技
2022-11-16

11月17日(本周四)晚 7 点,YRCloudFile 存储架构师李勇将与英伟达网络高级产品经理陈龙一起,就 AI 大数据领域如何实现存储容量和性能呈现线性方式增长,帮助 AI 企业加速业务流程进行深度讨论。

https://static001.geekbang.org/infoq/da/da382337d6dba233b57a629b3cb1d0a0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入浅出分布式,阿里大牛手写《分布式核心原理》Github 一夜爆火

自20世纪40年代计算机诞生以来,及互联网呈现出高速发展的趋势,(互联网理财,移动支付,短视频应用,直播)计算机以及互联网已经深刻影响了人们的生活和工作的方方面面。

https://static001.geekbang.org/infoq/3a/3a5b0b7dcc1bd58a4a3ff84684957a5a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

企业架构 - 了解分布式

用户头像
马说IT
2022-10-21

想要学习架构,离开分布式就像瘸了一条腿!

https://static001.geekbang.org/infoq/3c/3c0555570b0434d4d3415504e9f123e1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

你用对了么?对象文件网关 VS 分布式文件存储

用户头像
焱融科技
2022-09-26

​对象文件网关 VS 分布式文件存储:产品架构在设计思路上到底有何不同?优劣势体现在哪里?各自适合怎样的应用场景和业务?

技术分享| 分布式系统中服务注册发现组件的原理及比较

用户头像
anyRTC开发者
2022-09-20

在分布式架构的系统中,服务发现简单来讲就是通过服务名找到提供服务的实例地址和端口,主要用于解决如何获取服务实例地址问题。

https://static001.geekbang.org/infoq/46/46c9cfeb06e1acf38e6013ec9d1f00a9.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Github 最新霸榜!Alibaba 架构师手写的分布式系统核心原理手册

其实简单来说,分布式就是将一个大问题拆分成多个小问题,逐一解决,最终协同合作,而将多个系统协同合作完成一个特定任务,支持分布式处理的软件系统,就是我们所说的分布式系统。包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文件系统分布式

https://static001.geekbang.org/infoq/b2/b2e6e3d58b35c234014d42b6531bec14.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

FIXP vs SSL/TLS,谁更安全?

FIXP和SSL/TLS谁更安全?这是一位LAXCUS分布式应用软件开发者提出来的问题。其实以前也有人问过,今天写篇文章正式回答一下。我先说结论:SSL/TLS实现的作业流程和技术原理,FIXP同样拥有,但是FIXP包含的某些技术和作业流程,SSL/TLS却没有提供。下面就来仔

搜索引擎分布式系统思考实践

用户头像
得物技术
2022-08-23

本篇文章主要是对搜索引擎分布式的设计和落地做了总结,主要的几个重要部分是,如何设计一套有状态的分布式系统,其中最主要的核心部分是如何对各个节点的状态变化做处理,以及合理的对数据进行分片和处理。

深入解析分布式文件系统的一致性的实现

本文作者为中国移动云能力中心大数据团队软件开发工程师冯永设,文章从分布式系统CAP理论出发,详细介绍了分布式一致性共识系统的功能架构、选举机制,以及三种可以实现一致性的数据复制机制,供大家参考。

https://static001.geekbang.org/infoq/c8/c80fbee24b3745cdb589f3d617ef1d14.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

详解分布式系统的幂等

用户头像
焱融科技
2022-07-27

分布式系统是一个非常庞大且复杂的系统,幂等只是其中非常重要且复杂的问题之一,不同的系统对于幂等有着不同的需求,一起阅读最新的技术科普小文。

https://static001.geekbang.org/infoq/dd/dd180ec3938837a3b20ecca1f47539fb.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

阿里云技术专家秦隆:可靠性保障必备——云上如何进行混沌工程

混沌工程最终要达到的目标:从演练中得到可以优化的点并进行优化

https://static001.geekbang.org/infoq/5f/5ff74255b6f4ad650a3824522115a945.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TLA+ 入门教程(1):形式化方法简介

用户头像
多颗糖
2022-07-04

本次 TLA+ 入门教程系列将分为几个部分,帮助你从零掌握 TLA+ 语言的基本知识,欢迎关注公众号和知乎“多颗糖”。

https://static001.geekbang.org/infoq/73/73ebe7acbb99f8f07f2ec9ffe13c1e07.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

InfoQ 极客传媒 15 周年庆征文|分布式系统解决之道:目录、消息队列、事务系统及其他

分布式系统是一个由很多进程组成的整体,这个整体中每个成员部分,都会具备一些状态,比如负载情况,对某些数据的掌握等等。而这些和其他进程相关的数据,在故障恢复、扩容缩容的时候变得非常重要。

分布式系统_分布式系统技术文章_InfoQ写作社区