写点什么

华为云数据库 DDS 产品深度赋能

作者:程思扬
  • 2022 年 7 月 04 日
  • 本文字数:7602 字

    阅读完需:约 25 分钟

华为云数据库DDS产品深度赋能

 声明:本文参考自《华为云开发者学堂》,华为云数据库 DDS 产品深度赋能,主要面向 DA、交付、一线、二线数据库从业者,针对 DDS 常见问题及产品特性进行介绍,涉及:产品特性介绍、产品使用场景介绍、产品常见问题介绍、DDS 实例使用规范及最佳实践介绍、DDS 副本集内部机制和分片集群内部原理介绍等。

本文适合数据库解决方案工程师(DA)、数据库交付工程师、数据库一线 &二线从业者、以及对 DDS 感兴趣的用户,希望读者可以通过本文通过华为云数据库 DDS 产品深度赋能课程的学习,加强 DA、交付、一线、二线对数据库产品的理解和技能提升。

本文分为 5 个章节展开讲解:

第 1 章 华为云数据库 DDS 产品介绍

第 2 章 DDS 业务开发使用基础

第 3 章 了解 DDS 内核原理

第 4 章 快速使用分片集群


一、 华为云数据库 DDS 产品介绍

1. DDS 概述

首先我们要了解一下 DDS 的一些基础信息:

文档数据库 DDS(Document Database Service)完全兼容 MongoDB 协议,也就是正常 MongoDB 如何使用,DDS 就如何使用在华为云高性能、高可用、高安全、可弹性伸缩的基础上,提供了一键部署,弹性扩容,容灾,备份,恢复,监控等服务能力。目前支持分片集群(Sharding)、副本集(ReplicaSet)、单节点(Single)三种部署架构。

MongoDB 的数据结构


点击并拖拽以移动

编辑

MongoDB 存储结构

• 文档(Document):MongoDB 中最基本的单元,由 BSON 键值对(key-value)组成。    

相当于关系型数据库中的行(Row)。    

• 集合(Collection):一个集合可以包含多个    文档,相当于关系型数据库中的表(Table)

• 数据库(Database):等同于关系型数据库中的数据库概念,一个数据库中可以包含多个集合。您可以在 MongoDB 中创建多个数据库。


2. DDS 部署形态及关键特性    

2.1DDS 服务部署形态-单节点(Single)

架构特点

1.超低成本,仅需支付一个节点的费用

2.支持 10GB-1000GB 的数据存储;

3.较副本集/集群可用性不高:当节点故障,业务不可用;

适用场景

非核心数据存储

学习实践;

测试环境的业务;

2.2 DDS 服务部署形态--副本集(Replica Set)


点击并拖拽以移动

编辑

上图为一个经典的三副本形态

架构特点

1. 三节点高可用架构:当主节点故障时,系统自动选出

新的主节点

2.支持 10GB-3000GB 数据存储;    

3. 具备扩展到 5 节点,7 节点副本集的能力。    

适用场景

有高可用需求,数据存储<3T

2.3 DDS 服务部署形态--集群(sharding)


点击并拖拽以移动

编辑

架构特点

1. 组件构成:由 mongos(路由)、config(配置)、shard(分片)三种类型的节点构成

2. Shard 分片:每个 shard 都是一个副本集架构,负责存储业务数据。可创建 2-16 个分片,每个分片 10GB-2000GB。因此,集群空间范围( 2-16)*(10GB-2000GB)

3. 扩展能力:在线规格变更、在线横向扩展

适用场景

要求高可用,数据量大且未来横向扩展要求

2.4 DDS 关键特性


点击并拖拽以移动

编辑

文档数据库 DDS 主要特性集

数据库类型及版本:兼容 MongoDB 3.4/4.0 版本

数据安全:多种安全策略保护数据库和用户隐私,例如:VPC、子网、安全组、SSL 等

数据高可靠:数据库存储支持三副本冗余,数据库数据可靠性高;备份数据可靠性高

服务高可用(同城容灾):集群/副本集实例支持跨 AZ 部署,服务可用性高

实例访问:多种访问方式,包括:内网 IP 访问、公网 IP 访问

实例管理:支持实例的创建、删除、规格变更、节点扩容、磁盘扩容、重启等生命周期管理

实例监控:支持监控数据库实例 OS 及 DB 引擎的关键性能指标,包括 CPU/内存/存储容量使用率、1/O 活动、数据库连接数等

弹性伸缩:水平伸缩:增删 shard 分片(最多 16 个);垂直伸缩:实例规格变更,存储空间扩容(最大 n*2TB)

备份与恢复:备份:自动备份、手动备份,全量备份、增量备份,备份文件的增、删、查、复制等生命周期管理。恢复:副本集支持恢复到备份保留期内任意时间点(Point-In-Time Recovery, PITR)/某个全量备份时间点,恢复到新实例/原实例。备份保存周期高达 732 天

日志管理:支持慢 SQL 日志、错误日志的查看、以及审计日志下载

参数配置:可以根据监控和日志等信息,通过管理控制台对数据库实例的参数进行自定义设置,从而优化数据库。另外管理控制台对参数组提供了增、删、改、查、重置、比较、复制等一系列的参数管理的能力。


3. DDS 产品优势及应用场景    

3.1 DDS 的产品优势

MongoDB    

• 100%兼容 MongoDB

• 具备无需业务改造,直接迁移上云的能力

• 支持社区 3.4/4.0 版本

3 种架构

• 集群、副本集、单节点

• 集群:nTB 存储、在线扩容

• 副本集:2TB 存储

• 单节点:高性价比

高可用    

• 架构高可用、跨 AZ 部署

• 支持副本集,Shard 高可用架构(集群)

• 副本集多节点(三、五、七)

• 集群、副本集支持跨 AZ 部署

高可靠    

• 自动/手动备份,数据恢复    

• 每天自动备份,保留 732 天    

• 手动备份,永久保存    

• 备份恢复    

高安全    

• 具备多层安全防护    

• 网络:VPC 网络隔离

• 传输:SSL 安全连接

• 访问:安全组出、入限制

管理、监控    

• 可视化监控:CPU、内存、10、网络等    

• 实例一键扩容、规格变更    

• 错误日志、慢日志管理    

• 参数组配置


3.2 DDS 应用场景

灵活多变的业务场景

DDS 采用 No-Schema 的方式,避免变更表结构的痛苦,非常适用于初创型的业务需求。

游戏应用

作为游戏服务器的数据库存储用户信息,用户的游戏装备、积分等直接以内嵌文档的形式存储,方便进行查询与更新。

视频直播

存储用户信息,礼物信息等

3.3 DDS 使用场景举例:业务弹性扩展,数据结构灵活

游戏行业业务和数据特点

1.用户信息和交易数据存储在 MySQL 中。

2.角色装备数据及游戏的过程日志存储在 DDS 中

3.游戏业务变化频繁,对于数据表需要做结果变更 DDS 修改表结构对业务无影响。

客户痛点(私有云部署)

1.资源不具备弹性伸缩,需要停服然后手工操作,风险极高。

2.没有数据库的故障自动切换机制或能力不足,主实例故障,修改应用配置,停服时间长。

3.很少设置专职 DBA 岗位,遇见数据回档场景,很难满足运营的诉求。

4.游戏玩法变化快,数据模型灵活变化

华为云数据库的解决方案

1.高性能

RDS MySQL 和 DDS 性能超越阿里云。

2.弹性伸缩

RDS 和 DDS 支持磁盘的弹性扩容,对业务无影响。

3.一键回档(游戏业务数据诉求)

RDS 和 DDS 支持表级和实例别任意时间点的回档。

4. 快读开服

RDS 和 DDS,可使用备份创建新实例,实现快速开服。

5.故障切换

RDS 和 DDS 主备故障秒级别切换,对业务透明,应用配置无需改动。

4. DDS 管理控制台及运维指南

DDS 服务首页


点击并拖拽以移动

编辑

DDS 实例创建-1


点击并拖拽以移动

编辑

DDS 实例创建-2


点击并拖拽以移动

编辑

DDS 实例详情


点击并拖拽以移动

编辑

二、 DDS 业务开发使用基础

1. DDS 高可用连接方式


分片集群高可用址:

mongodb://wuser;****@192.168.0.204:8635.192.168.0.94:8635/test?authSource=admin

多个 mongosIP 配置在客户端 Driver 进行负载均衡

单个 mongos 故障,其他 mongos 正常运行

副本集和分片集群实例连接失败场景:

• 网络端口不通,安全组,跨 vpc

• 是否开启 SSL 安全连接

• 连接参数错误,用户名、密码错误

• DDS 实例连接占满,无法创建新连接

• DDS 实例内存、CPU 过高

• 更多详情参考官方指南:https://support.huaweicloud.com/dds fa/dds_faq_0218.html

2. DDS 用户认证及创建

2.1 用户认证用户,角色,权限,对象 模型 ---- 基于 admin 库创建并管理用户角色用户:userA,userB,userC,角色:role1,role2,role3     权限:userAdmin,readWrite.…

对象:db,collection(action)

查看当前用户及角色:    use admin

db.runCommand({rolesinfo: 1});db.runCommand({ userslnfo: 1} );举例几个常用用户角色:管理用户及角色账号:userAdminAnyDatabasedb.createUser({user:"user_admin,pwd:"YourPwd_234",roles:[{role:"userAdminAnyDatabase",db:"admin")管理数据库账号:dbAdminAnyDatabasedb.createUser(fuser:"dbadmin"pwd:"YourPwd 234"roles:[{role:"dbAdminAnyDatabase",db:"admin"}l})·指定库的管理账号:dbAdmindb.createUser({user:"db_admin_db1",pwd:"YourPwd_234",roles:[{role:"dbAdmin",db:"db1"}I})全库的只读账号:readAnyDatabasedb.createUser({user:"db_read",pwd:"YourPwd_234",roles:{role: "readAnyDatabase",db:"admin"}})·指定库的读写账号:readWritedb.createUser({user:"db_rw_db2",pwd:"YourPwd_234",roles:[{role:"readWrite",db:"db2"}l})

2.2 创建权限用户

管理用户登录后可管理库表不可读写数据


点击并拖拽以移动

编辑

只读用户登录后可读不可写


点击并拖拽以移动

编辑

3. DDS 用连接参数读写分离

3.1 读写分离场景的选择

生产环境的高可靠运转,核心组件高可用,提高系统整体可用性及服务质量

结合节点部署形态理解 :

https://supporthuaweicloud.com/bestpractice-dds/dds_0003.html

读写分离的使用场景

怎么选择读参数 Read Preferenceprimary(只主)只从 primary 节点读数据,这个是默认设置 primaryPreferred(先主后从)优先从 primary 读取,primary 不可服务,从 secondary 读 secondary(只从)只从 scondary 节点读数据 secondaryPreferred (先从后主)优先从 secondary 读取,没有 secondary 成员时,从 primary 读取 nearest(就近)根据网络距离就近读取,根据客户端与服务端的 PingTime 实现

3.2 读写分离配置使用举例

读写分离配置使用举例:

可以通过 uri 连接参数配置,也可以再单次查询操作的时候配置读取偏好 mongodb://db_rw_db2:YourPwd_234@IP1:port1,IP2:port2/db2?

authSource=admin&replicaSet=replica&readPreference=secondaryPreferred

replica:PRIMARY> db.coll1.find().readPref("secondary");

2021-12-29T11:56:09.435+0000 I NETWORK [js] Successfully connected to 192.168.2

"id":0bjectId("61cc2b7270efbd76daa54891"),"age": 13 }

id"    ObjectId("61cc2b7970efbd76daa54892"),"age": 14 }

4. DDS 写策略配置

一致性和可用性的一场较量----- 可调一致性参数

• 写入策略 writeConcern 参数使用及默认值

·db.collection.insert({x:1},{writeConcern:{w:1}})

·mongodb://db_rw_db2:YourPwd 234@IP1:port1P2:port2/db2?

authSource=admin&replicaSet=replica&w=majority&wtimeoutMS=5000

• 分区容错不可避免

• 业务数据一致性:实时一致性,最终一致性{w:n} {w:“majority"}w 默认是 1

• 系统服务可用性:读写操作的延迟容忍度多节点数据同步依赖 oplog 复制到备节点

• 业务特征来平衡选择以上参数取值

写操作策略再连接参数中指定


点击并拖拽以移动

编辑

写操作策略再单次操作参数中指定


点击并拖拽以移动

编辑

三、 了解 DDS 内核原理

1. DDS 服务部署模型概述


点击并拖拽以移动

编辑

架构特点

1.高可用服务方式,自动故障转移,读写分离场景

2.支持 10GB-3000GB 数据存储;

3.具备扩展到 5 节点,7 节点副本集的能力。

适用场景

有高可用需求,数据存储<3T

2. DDS 心跳及选举

2.1 DDS 心跳及选举


点击并拖拽以移动

编辑

• 副本集内,节点之间

• 默认情况,间隔 2s

• 10s 未收到主节点响应主动选举

• 实现自动故障转移

胜选:

数据相对最新的节点获得大多数节点选票

2.2 DDS 自动故障转移


点击并拖拽以移动

编辑

副本集节点角色:

• Primary

• Secondary

• Hidden

• Arbiter

故障转移

• Primary 发生异常(节点心跳未正常)

• Secondary 发起选举,主动接管

• Driver 连接副本集正常业务读写

2.3 DDS 副本集管理


点击并拖拽以移动

编辑

副本集管理:

• 副本集配置初始化 rs.initiate()

• 副本集添加成员 rs.add()

• 副本集删除成员 rs.remove()

• 副本集配置查看 rs.config()副本集配置重置 rs.reconfig()

• 副本集状态查看 rs.status()

3. DDS 数据同步和复制

3.1 DDS 数据同步


点击并拖拽以移动

编辑

多个副本集内数据同步:

• 副本集内,一个 Primary,多个 Secondary

• 备节点可以承载读取能力

• 备节点选择同步源:主节点 or 其他比自己数据更新的节点

• 允许链式复制,减缓主节点压力

• 数据通过操作记录重放在备节点

• 随着数据复制推移备节点最新操作时间戳

3.2 DDS 数据同步详解


点击并拖拽以移动

编辑

复制数据关键技术点:

• 主节点写入数据后,记录 oplog

• 备节点拉取 oplog√备节点应用 oplog

• voplog 是固定大小的集合,自然序写入,无索引

• 多线程并行应用 oplog:

• 一个线程内部操作串行执行

• 一个集合的 oplog 会被一个线程处理

• 不同集合的 oplog 会被分配到不同线程处理

• 更新数据库状态,更新最新时间戳

3.3 DDS 数据同步注意事项


点击并拖拽以移动

编辑

关于复制的注意事项:

• 副本集内 oplogsize 固定,写入数据会淘汰旧的 oplog 数据

• 空载业务的数据库实例,通过 noop 特殊操作推移

• noop 操作每次间隔 10s 写入 oplog,少于 10s 则不写入

• 业务过载,写入速度过快导致复制脱节

• 可以通过 write Concern 确保写入多数节点

• 可以指定读写分离 readPreference

4. DDS 查询计划和其他机制

4.1 DDS 查询计划及索引建议


点击并拖拽以移动

编辑

索引类型:        

• 单字段索引    

• 组合字段索引

{userid: 1,score:-1}    

• 嵌套字段索引        

{“addr.zip”}    

• 地理位置索引    

2dsphere indexes

• 文本索引

• hash 索引

索引属性:

• 唯一索引    

• 部分索引    

• 稀疏索引

• TTL 索引(Time to Live)        

通过查询计划诊断查询效果:

• explain 计划分析:返回文档、扫描文档、是否覆盖索引、是否内存排序

• queryPlanCache 查看查询计划方案缓存情况

4.2 DDS 订阅数据变更场景


点击并拖拽以移动

编辑

订阅数据变更:

• 通过 watch 对于一个集合的数据变更进行监听

• 通过 cursor 的 next 持续返回该集合的数据变更

• full_document='updateLookup’返回 update 全文档

• db.bar.watch(0.{“resumeAfter”:<\_id>})从断点恢复

• readConcern=true

• 断点时间可恢复,同理与 oplog 可用窗口

Change Stream 限制:

• 部分 DDL 操作不支持

• fullDocument 返回的 update 全文可能被后续操作更改的

• 全量信息(在频繁快速更改前提下)

• change stream 返回体限制 16M,则原始数据修改需要更小

4.3 DDS 其他机制注意事项


点击并拖拽以移动

编辑

文档 &集合建议:

• JSON 数据模型(对象模型内聚数据关联)

• 文档 Size 限制 16MB

• 一个集合中不建议存储过量数据

• 有效使用固定集合(size,max)

• 删除数据库快速释放内存

• 集合总体数量过多导致内存占用过高

四、 快速使用分片集群

1.DDS 服务部署模型概述

DDS 服务集部署形态


点击并拖拽以移动

编辑

架构特点

1.组件构成:由 mongos(路由)、config(配置)、shard(分片)三种类型的节点构成

2.Shard 分片:每个 shard 都是一个副本集架构,负责存

储业务数据。可创建 2-32 个分片,每个分片 10GB-2000GB。因此,集群空间范围(2-32)*(10GB-2000GB)

3. 扩展能力:在线规格变更、在线横向扩展

适用场景

要求高可用,数据量大且未来横向扩展要求

2. DDS 分片集群基本使用

2.1 DDS 选择集群规模


点击并拖拽以移动

编辑

• 分片集群部署方式,水平分表,横向扩展存储和读写能力

• 2 个 mongos 以上,路由模块提供高可用的接入

• 2 个 shard 以上,具备分片扩展能力

• 一个 shard 内部以副本集方式服务,具备副本集所有属性

• 用户数据库默认创建非分片,需要指定分库及分表方式

2.2 DDS 选择片键关联索引


点击并拖拽以移动

编辑

分片键建议

类似索引选择,取值选择性强的字段、可以是组合字段索引取值单个关联文档过多,容易导致 Jumbo chunk 确保查询包含 shard key,避免 scatter-gather 查询片键类型区分 HashedRange

>sh.shardCollection("database.collection"{<field>:"hashed"})>sh.shardCollection("database.collection",{<shard key>})

分片键举例:海量设备日志类型数据


   

2.3 DDS 预置 chunk 及其他建议


点击并拖拽以移动

编辑

• 预置 chunk 能够最有效降低均衡带来的性能消耗    

• chunksize 默认 64MB、数据聚集的逻辑单位    

• shard key 优选,避免 Jumbo chunk    

• shard key 取值不超过 512 Bytes    

• db.colname.getShardDistribution()#可以查看数据分布    

• scatter-gather 查询产生 mongos 输入网卡流量过高    

• hash 分片方式,创建集合指定预置初始 chunks 数量

mongos> sh.enableSharding("<database>") mongos> use admin

mongos>db.runCommand({shardcollection:“<database>.<collection>”,key:{“keyname”:“hashed”), numinitialChunks: 1000})

• range 分片方式,通过采用分裂点初始化 chunks 数量

mongos>db.adminCommand({split:"test.coll2middle:{username:1900}})(多次寻找合适切分点,建议采用 DRS 完整迁移功能)

3. DDS config 及管理操作

3.1DDS config server 及元数据


点击并拖拽以移动

编辑

• config database    # mongos> use config    

• config.shards    #db.shards.find()    

• config.databases    #db.databases.find()    

• config.collections    #分片集合    

• config.chunks    #所有 chunks 的记录    

• config.settings    #shard cluster 配置信息    

• mongos>db.settings.find()

("id" : "chunksize”, "value": NumberLong(64)}

{"id" : "balancer", "stopped": false )

• config server 存储整个分片集群元数据

• 以副本集为单位、高可用部署方式

3.2 DDS 集群管理及最佳实践


点击并拖拽以移动

编辑

• 添加分片

db.runCommand({addShard:"repl0/mongodb3examplenet:27327"})

• 删除分片 removeShard 会影响 chunks 的重新分配、运行时间过长

• 查看均衡

mongos>sh.getBalancerState()#查看是否开启均衡

mongos>sh.isBalancerRunning0 #查看是否正在均衡迁移 chunk

• 备份时停止、开启均衡 sh.stopBalancer()

sh.setBalancerState(true)

• 刷新路由信息

db.adminCommand({flushRouterConfig:"<db.collection>"}) db.adminCommand({ flushRouterConfig: "<db>" } )

db.adminCommand( { flushRouterConfig: 1 })    

4.DDS 分裂和均衡的基本原理

4.1 DDS 分裂基本原理


点击并拖拽以移动

编辑

• 分裂命令

sh.splitFind("records.people"{"zipcode":"63109"})

#匹配 zipcode:63109 的 chunk,分裂为 2 个或多个 chunk sh.splitAt( “records.people”,{ “zipcode”: “63109”))#以 zipcode:63109 为分裂点,分裂为 2 个 chunk

• 分裂基本过程

sharding.autoSplit 自动分裂默认开启

插入、更新、删除数据时,mongos 判断 chunk 是否超过阈值,触发 chunk 分裂

chunk 分裂是逻辑动作,基于元数据进行标记数据边界左开右闭[)

chunk 内数据 shard key 是相同的一个值,则无法分裂形成 Jumbo chunk

4.2 DDS 均衡基本原理


点击并拖拽以移动

编辑

迁移命令    

db.adminCommand{moveChunk:<namespace>    

find : <query>.

    to: <string>,    

_secondaryThrottle<boolean>,

writeConcern:<document>,

迁移命令    

db.adminCommand{moveChunk:<namespace>    

find : <query>.

to: <string>,    

_secondaryThrottle<boolean>,

writeConcern:<document>,

_waitForDelete<boolean>})    

迁移基本过程

• 由 config server 通知发送方 shard,并指定迁移 chunk 任务(一时迁移一个 chunk)

• 发送方 shard 通知接收方 shard 主动分批次拷贝数据、增量应用到接收方    

• 发送方判断 chunk 数据迁移完毕后进入临界区,写入操作挂起直到退出临界区    

• 接收方最后拷贝 chunk 最后一次增量数据完成 commit,完成后接受方退出临界区

• 接收方最后进行异步删除本地 chunk(孤儿 chunk)

均衡窗口

use config    

db.settings.update({id:"balancer}.{$set:

{activeWindow:{start:“02:00stop:"06:00"}}}    {upsert: true })


发布于: 刚刚阅读数: 3
用户头像

程思扬

关注

会的越多,不会的越多 2022.01.03 加入

还未添加个人简介

评论

发布
暂无评论
华为云数据库DDS产品深度赋能_数据库_程思扬_InfoQ写作社区