TiDB 7.x 源码编译之 TiDB Server 篇,及新特性解析
作者: ShawnYan 原文来源:https://tidb.net/blog/8f6af887
TL;DR
本文将延续本系列文章,介绍如何编译 TiDB Server 源码。以及,阐释 TiDB Server 7.x 的部分新特性。
News !!!
TiDB v7.5.0 LTS 计划于 2023-11-23 正式 Release[1],目前代码虽未冻结,但已经可以看到 Alpha 版本的 Code 了,本文代码将以 v7.5.0-alpha
为基准。
前情提要
本文是该系列文章的第 5 篇,前四篇文章分别是:
TiDB Server 编译
编译环境
与前几篇文章有所区别的是,本文使用 CentOS 7.9 和 Rocky Linux 9.2 两个版本的操作系统,分别进行编译测试。由于 TiDB Server 是 go 语言开发,所以在两个系统编译过程几乎没有区别,只需注意在编译之前安装系统开发工具包(yum groupinstall 'Development Tools'
)。不过,官档[2]中并未明确支持 Rocky Linux 系统,所以,如需在生产环境使用,请慎重评审。
查看版本信息:
输出日志:
CentOS 7
Rocky Linux 9
在 TiDB v7.5.0-alpha 的代码中,Go 版本升级到 1.21.1 (released 2023-08-08)[3][4]。本文所使用的 Go 版本为 1.21.3 (released 2023-10-10)[5]。
Ps. 同时,关于 Go 版本,给 QE 团队提了个 Issue:[Closed] update go v1.21.3 #2507
Update: 2023-10-17
TiDB 源码仓库新建了 release-7.5 分支,并且 Go 版本升级到了 1.21.3。[6]
编译步骤
克隆下载源码到本地,这里指定 v7.5.0-alpha
分支。
编译 TiDB Server 仅需一条命令搞定。
输出日志:
查看二进制文件的版本:
Update: 2023-10-16
TiDB 仓库的代码结构发生了大调整,TiDB Server 核心文件移动到了新目录 pkg
[7],这一变更影响到近 4500 个文件。随之而来的好处是,TiDB 源码根目录更加清晰。
启动 TiDB Server
TiDB Server 其实可以不依赖于 TiKV 而单独启动,这里选择单机存储引擎 UniStore 启动 TiDB Server,启动命令如下。
启动后,连接 TiDB,并查看版本信息。
需要注意的是,TiDB Server 的参数分为命令行参数(直接启动 Server 时传递的参数)[8],配置文件参数(比命令行参数更丰富)[9],以及系统变量(连接 TiDB 后可修改)[10],所以在查看官方文档的时候,这三类参数的页面都可能用到,概念上的变量和参数非常容易混淆,如果接触 TiDB 时间不长,需要多加区分、辨别。
BTW,关于这部分的内容,欢迎学习、复习 PingCAP 相关课程:
TiDB 系统管理基础 [TiDB v5.x] (301) ,第十课: TiDB 的配置
到此,我们可以看到 TiDB Server 已经编译成功,并成功启动运行,TiDB Server 的版本为 v7.5.0-alpha
。
TiDB Server v7.x 新特性
依据现行 TiDB 发版规则,TiDB 7.5.0 LTS 版本将包含 7.2.0-DMR (Released: 2023-06-29),7.3.0-DMR (Released: 2023-08-14) 和 7.4.0-DMR (Released: 2023-10-12) 中已发布的新特性。下面的篇幅将介绍若干 TiDB 7.x 的新特性。
🥳 TiDB 相关 SQL 再扩展
之前的文章 《 TiDB 7.1.0 LTS 特性解读 | 资源管控 (Resource Control) 应该知道的 6 件事 》 中,增加了“资源管控”相关 SQL,这里再次进行扩展,也是本文的第一个彩蛋。
1️⃣ TiDB 7.2.0,对 DDL 任务进行暂停和恢复
TiDB 7.2 引入了新的实验特性,DDL 任务支持暂停(PAUSE)[11]和恢复(RESUME)操作,比如,对正在创建索引的任务进行暂停和恢复。相关命令如下:
2️⃣ TiDB 7.4.0,新增支持 TIDB_PARSE_TSO_LOGICAL()
语法
对于 TSO,如果想查看逻辑计数器,之前的版本需要通过 pd 命令进行解析,从 7.4 开始支持直接从 TiDB 进行查询。
TSO 指 Time Stamp Oracle,是 PD (Placement Driver) 为每个事务提供的单调递增的时间戳。TSO 是一串数字,包含以下两部分:一个物理时间戳; 一个逻辑计数器[12]
示例:获取物理时间戳和逻辑计数器的值。
与 pd 命令解析的结果一致。
3️⃣ TiDB 7.4.0,新增支持分区类型管理功能
TiDB 7.4 的分区表管理功能更加完备,期待已久的普通表转分区表功能终于上线。[13]
举个栗子,将既存表按年龄划定分区,分区类型使用 RANGE
,然后将分区类型变更为 LIST
,最后移除分区。
!!! Tips 提示:
在分区表定义更新后,建议手动更新统计信息(有些环境可能已经关闭自动更新[14])。
Ⓜ️ MySQL 8.0 兼容性
在 PingCAP 公众号最近发布的通告中,TiDB 7.4 发版:正式兼容 MySQL 8.0 ,详细地介绍了 TiDB 7.4 DMR 在 MySQL 8.0 兼容性方面取得的最新进展。通告中已经列举了若干新特性,本文将做进一步补充。同时,在 TiDB 7.4 DMR 的发版说明中有些小改动并未列出,下面也将进行列举说明,以供参考。
1️⃣ TiDB 7.2.0,新增支持 CHECK
约束
从 MySQL 8.0.16 开始,MySQL 实现了 CHECK 约束核心特性,并增加了新的信息表 INFORMATION_SCHEMA.CHECK_CONSTRAINTS
用来展示 CHECK 约束定义。[15]
从 TiDB 7.2.0 开始,TiDB 新增支持 CHECK
约束,并在 7.4 中增加表 I_S.CHECK_CONSTRAINTS
。需要注意的是,该功能默认关闭,需要通过变量 tidb_enable_check_constraint
进行控制。相关 SQL 控制命令如下:
Ps. 在测试该特性时遇到了两个问题,分别提了 Issue,期待在 TiDB 7.5.0 LTS 代码冻结之前修复。
2️⃣ TiDB 7.2.0,支持指定 utf8mb3
字符集;TiDB 7.4.0,支持指定 utf8mb4_0900_ai_ci
/utf8mb4_0900_bin
排序规则
在之前的文章中,TiDB 6.x 新特性解读 | Collation 规则 ,介绍过 TiDB 的字符集和排序规则,经过若干版本的迭代,TiDB 在全面兼容 MySQL 8.0 的征途上又更进一步。
从 TiDB 7.2.0 开始,支持 utf8mb3 字符集,其作为 utf8 的别名。示例如下:
从 TiDB 7.4.0 开始,支持指定 utf8mb4_0900_ai_ci/utf8mb4_0900_bin 排序规则,在 7.4.0 的发版说明中有这样一段描述[16]:
TiDB v7.4.0 增强了从 MySQL 8.0 迁移数据的支持。新增两个排序规则 (Collation)
utf8mb4_0900_ai_ci
和utf8mb4_0900_bin
。其中utf8mb4_0900_ai_ci
为 MySQL 8.0 的默认排序规则。同时新增支持 MySQL 8.0 兼容的系统变量default_collation_for_utf8mb4
,允许用户为 utf8mb4 字符集指定默认的排序方式,以兼容从 MySQL 5.7 或之前版本迁移或数据复制的场景。
这里需要注意的是,在 TiDB 中,utf8mb4 字符集的默认排序规则仍然是 utf8mb4_bin
。
做个对照实验,更加直观地展示区别:
3️⃣ TiDB 7.4.0,version()
返回信息变更
自 v7.4.0 起,TiDB 已经兼容 MySQL 8.0 的核心功能,
version()
将返回以8.0.11
为前缀的版本信息。[17][18]
示例:
当然,如果为了合理规划漏扫,也可以自定义将 8.0.11
改为更新的版本,比如 8.0.35
,修改方法参照 官方文档 。
关于 TiDB 兼容 MySQL 8.0 的更多讨论,欢迎访问 AskTUG 论坛:【唠嗑茶话会 88】关于 TiDB 兼容 MySQL 8.0 ,你最想支持的特性 / 功能是什么?
4️⃣ TiDB 7.4.0,新增支持使用 Hint SER_VAR()
修改系统变量
TiDB v7.4.0 新增支持与 MySQL 8.0 相似的优化器提示
SET_VAR()
。通过在 SQL 语句中添加 HintSET_VAR()
,可以在语句运行过程中临时修改部分系统变量,以针对不同语句设置环境。[19]
举个栗子,在之前的版本中,如果想控制当前 Session 只从 TiFlash 读取数据,需要用到下面的语句:
或者:
而从 TiDB 7.4.0 开始,可以使用 SET_VAR()
语法进行控制,更加灵活、便利:
从 TiDB 7.4 开始,官方文档的系统变量部分增加一个说明项“是否受 Hint SET_VAR
控制”[20],当前版本中,受该 Hint SET_VAR
控制的系统变量共有 91 个:
cte_max_recursion_depth
max_execution_time
mpp_exchange_compression_mode
mpp_version
sql_mode
tidb_allow_batch_cop
tidb_allow_fallback_to_tikv
tidb_allow_mpp
tidb_broadcast_join_threshold_count
tidb_broadcast_join_threshold_size
tidb_cost_model_version
tidb_default_string_match_selectivity
tidb_distsql_scan_concurrency
tidb_enable_cascades_planner
tidb_enable_extended_stats
tidb_enable_index_merge
tidb_enable_index_merge_join
tidb_enable_inl_join_inner_multi_pattern
tidb_enable_new_only_full_group_by_check
tidb_enable_non_prepared_plan_cache
tidb_enable_null_aware_anti_join
tidb_enable_ordered_result_mode
tidb_enable_outer_join_reorder
tidb_enable_paging
tidb_enable_prepared_plan_cache
tidb_enable_pseudo_for_outdated_stats
tidb_enable_vectorized_expression
tidb_enforce_mpp
tidb_executor_concurrency
tidb_index_join_batch_size
tidb_index_join_double_read_penalty_cost_rate
tidb_index_lookup_size
tidb_index_merge_intersection_concurrency
tidb_index_serial_scan_concurrency
tidb_isolation_read_engines
tidb_max_bytes_before_tiflash_external_group_by
tidb_max_bytes_before_tiflash_external_join
tidb_max_bytes_before_tiflash_external_sort
tidb_max_paging_size
tidb_merge_join_concurrency
tidb_min_paging_size
tidb_opt_advanced_join_hint
tidb_opt_agg_push_down
tidb_opt_broadcast_cartesian_join
tidb_opt_concurrency_factor
tidb_opt_copcpu_factor
tidb_opt_correlation_exp_factor
tidb_opt_correlation_threshold
tidb_opt_cpu_factor
tidb_opt_derive_topn
tidb_opt_desc_factor
tidb_opt_disk_factor
tidb_opt_distinct_agg_push_down
tidb_opt_enable_correlation_adjustment
tidb_opt_enable_late_materialization
tidb_opt_enable_mpp_shared_cte_execution
tidb_opt_fix_control
tidb_opt_force_inline_cte
tidb_optimizer_selectivity_level
tidb_opt_insubq_to_join_and_agg
tidb_opt_join_reorder_threshold
tidb_opt_limit_push_down_threshold
tidb_opt_memory_factor
tidb_opt_mpp_outer_join_fixed_build_side
tidb_opt_network_factor
tidb_opt_objective
tidb_opt_ordering_index_selectivity_threshold
tidb_opt_prefer_range_scan
tidb_opt_prefix_index_single_scan
tidb_opt_projection_push_down
tidb_opt_range_max_size
tidb_opt_scan_factor
tidb_opt_seek_factor
tidb_opt_skew_distinct_agg
tidb_opt_three_stage_distinct_agg
tidb_opt_tiflash_concurrency_factor
tidb_opt_write_row_id
tidb_partition_prune_mode
tidb_plan_cache_max_plan_size
tidb_prefer_broadcast_join_by_exchange_data_size
tidb_read_consistency
tidb_read_staleness
tidb_replica_read
tidb_runtime_filter_mode
tidb_runtime_filter_type
tidb_session_alias
tidb_stats_load_sync_wait
tidb_store_batch_size
tiflash_fastscan
tiflash_find_grained_shuffle_stream_count
tiflash_fine_grained_shuffle_batch_size
Ps. 在研究这一特性时,发现了一个源码和若干中英文文档问题中的小问题,这是第一次给 pingcap/tidb
和 pingcap/docs
提 pr,特此“马克”一下。
[Open] system-variables: update docs for hint SET_VAR #15059
[Open] system-variables: update docs for hint SET_VAR #15207
5️⃣ TiDB 7.4.0, 新增会话连接属性表 session_account_connect_attrs
在 MySQL 早期版本中,支持从 P_S.session_account_connect_attrs
查看会话的连接属性。[21]
在 TiDB 7.4 中,也已经实现。举例如下:
如果通过第三方工具连接,比如 HeidiSQL,则显示为:
6️⃣ TiDB 7.4.0, 新增支持数据类型 FLOAT4
, FLOAT8
和 MIDDLEINT
从 TiDB 7.4 开始,新增数据类型 FLOAT4
, FLOAT8
和 MIDDLEINT
,以增强 MySQL 兼容性。其中 FLOAT4
实现为 FLOAT
的别名,FLOAT8
实现为 DOUBLE
的别名,MIDDLEINT
实现为 MEDIUMINT
的别名。
示例:
到此,MySQL 8.1 官方文档[22]中罗列的 16 个来自其他数据库的数据类型,TiDB 7.4 已全部支持。
Ps. 最新版的文档中有一处兼容性描述未更新,已反馈,待更新。
总结
2023 年已过去 79%,TiDB 7.x 系列即将迎来 7.5 LTS 版本。TiDB 在 MySQL 5.7 EOL 之际正式兼容 MySQL 8.0,为用户从 MySQL 5.7 迁移到 TiDB 减轻了工作量,并提供了更多助力。
最后,推荐一篇文章:
感谢
在 TiDB 7.4.0 DMR 的 发版说明 [23]中发现了自己的名字,感谢 TiDB 社区。
欢迎更多伙伴加入 TiDB 社区 。
彩蛋
TiDB Release Timeline 2023 版
End.
ShawnYan
2023-10-17
https://github.com/pingcap/tidb/issues/47332
https://docs.pingcap.com/zh/tidb/dev/hardware-and-software-requirements
https://github.com/pingcap/tidb/pull/45923
https://github.com/pingcap/tidb/pull/46764
https://groups.google.com/g/golang-announce/c/iNNxDTCjZvo
https://github.com/pingcap/tidb/pull/47440
https://github.com/pingcap/tidb/pull/47123
https://docs.pingcap.com/zh/tidb/stable/command-line-flags-for-tidb-configuration
https://docs.pingcap.com/zh/tidb/stable/tidb-configuration-file
https://docs.pingcap.com/zh/tidb/stable/system-variables
https://docs.pingcap.com/zh/tidb/dev/sql-statement-admin-pause-ddl
https://docs.pingcap.com/zh/tidb/stable/tidb-functions#tidb_parse_tso
https://docs.pingcap.com/zh/tidb/v7.4/partitioned-table# 对现有表进行分区
https://docs.pingcap.com/zh/tidb/stable/statistics# 自动更新
https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-16.html
https://docs.pingcap.com/zh/tidb/v7.4/release-7.4.0# 数据库管理
https://docs.pingcap.com/zh/tidb/v7.4/release-7.4.0# 行为变更
https://github.com/pingcap/tidb/pull/46155
https://docs.pingcap.com/zh/tidb/v7.4/release-7.4.0# 稳定性
https://docs.pingcap.com/zh/tidb/v7.4/system-variables
https://dev.mysql.com/doc/refman/8.0/en/performance-schema-connection-attribute-tables.html
https://dev.mysql.com/doc/refman/8.1/en/other-vendor-data-types.html
版权声明: 本文为 InfoQ 作者【TiDB 社区干货传送门】的原创文章。
原文链接:【http://xie.infoq.cn/article/22ff78b29724397142f6f493d】。文章转载请联系作者。
评论