【我和 openGauss 的故事】记一次基于在银河麒麟系统上适配 openGauss 进阶之旅

2023-07-20
北京
本文字数：7634 字
阅读完需：约 25 分钟

【我和 openGauss 的故事】记一次基于在银河麒麟系统上适配 openGauss 进阶之旅

每天译点晓知识 2023-07-14 18:50 发表于 openGauss 公众号

【我和openGauss的故事】记一次基于在银河麒麟系统上适配openGauss进阶之旅 (qq.com)

开篇

1、数据库架构

百度百科：openGauss 是一款全面友好开放，携手伙伴共同打造的企业级开源关系型数据库。openGauss 采用木兰宽松许可证 v2 发行，提供面向多核架构的极致性能、全链路的业务、数据安全、基于 AI 的调优和高效运维的能力。openGauss 深度融合华为在数据库领域多年的研发经验，结合企业级场景需求，持续构建竞争力特性。同时，openGauss 也是一个开源、免费的数据库平台，鼓励社区贡献、合作。

2、核心特性

高性能
提供了面向多核架构的并发控制技术结合鲲鹏硬件优化，在两路鲲鹏下 TPCC Benchmark 达成性能 150 万 tpmc。
针对当前硬件多核 NUMA 的架构趋势，在内核关键结构上采用了 Numa-Aware 的数据结构。
提供 Sql-bypass 智能快速引擎技术。
针对频繁更新场景，提供 Ustore 存储引擎。
高可用
支持主备同步，异步以及级联备机多种部署模式。
数据页 CRC 校验，损坏数据页通过备机自动修复。
备机并行恢复，10 秒内可升主提供服务。
提供基于 Paxos 分布式一致性协议的日志复制及选主框架。
高安全

支持全密态计算，访问控制、加密认证、数据库审计、动态数据脱敏等安全特性，提供全方位端到端的数据安全保护。

易运维
基于 AI 的智能参数调优和索引推荐，提供 AI 自动参数推荐。
慢 SQL 诊断，多维性能自监控视图，实时掌控系统的性能表现。
提供在线自学习的 SQL 时间预测。
全开放
采用木兰宽松许可证协议，允许对代码自由修改，使用，引用。
提供伙伴认证，培训体系和高校课程。

写在前面的话，每一篇摘文都以实际案例场景出发，抽出空余时间记录每一次 mark 历程，在不一样的业务实际场景下，针对项目阶段所产生的变化，制定不一样的技术方案。不论多么渺小的技术方案，放在其对应的场景下都有着不一样的意义。实践是检验真理的唯一标准，当真正实操过后参与讨论，或许会让你有一点新发现，希望对读者在思考上有点不一样的 IDea，欢迎 Join 谁与说，热衷拥抱新知识，旨在技术交流+心得分享->每天译点晓知识。

资讯

继鸿蒙之后，基于 openEuler 操作系统正式推出，鲲鹏计算生态迅速发展起来，鲲鹏 920 系列服务器 CPU，鲲鹏 920 处理器兼容 ARM 架构，在性能、吞吐方面都有创新突破，支持国产-计算推向新高度，不仅 CPU，操作系统配套欧拉 openEuler，麒麟 Kylin V10，鸿蒙就在我们身边。

这里，我们来记录一次在国产操作系统-银河麒麟上如何部署 openGauss 数据库？

实战

本文，小编主要以信息技术创新认证->数据库 openGauss 为例->常见问答 Q-A 的方式阐述：

1、版本选取

![图片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

2、安装部署

首先，获取麒麟相关环境信息，

（注：麒麟操作系统及安装，远程终端连接可参考之前提供的 FAQ 手册，本文不重点阐述。）

接着，通过类似终端 Xshell 或 Xftp 工具连接主机，

创建软件包文件夹并授权，

mkdir -p /home/soft

复制代码

创建当前部署路径并授权，

mkdir /home/opengauss

复制代码

查询当前硬件环境-ARM 架构服务器，

lscpu

复制代码

查询当前操作系统信息，

cat /etc/os-release

复制代码

进入软件安装包文件路径，下载 openGauss 安装包（根据实际需要，选择不同的版本：opengauss 1 || opengauss2 || opengauss3）

cd /home/soft

复制代码

（注：不同的操作系统及其搭载的硬件环境 x86、arm 架构需要特别留意一下，比如：在 Kylin 操作系统 x86 架构下执行 aarch64 这类包会报“无非执行二进制文件，可执行文件格式错误”！）

查询当前硬件环境-为 x86 架构服务器，执行 aarch64 包…

接下来，进入当前部署路径，解压 openGauss 安装包，

cd /home/opengauss

复制代码

查看 python 版本，opengauss 目录，

（注：本文这里是已经在信创环境装好了的，我们在初始化 openGauss 安装环境+python 环境前，可提前查阅，更多请参考 openGauss 官方文档）

其中，配置文件维护，可以通过 Xshell 或 Xftp 工具去创建 VS 修改，

在 script 文件夹下创建 clusterconfig.xml 文件，

vi script/clusterconfig.xml<?xml version="1.0" encoding="UTF-8"?><ROOT>    <!-- openGauss信息 -->    <CLUSTER>        <PARAM name="clusterName" value="opengauss_cluster" />        <PARAM name="nodeNames" value="opengauss_node1" />        <PARAM name="backIp1s" value="ip"/>        <PARAM name="gaussdbAppPath" value="/home/opengauss/install/app" />        <PARAM name="gaussdbLogPath" value="/var/log/omm" />        <PARAM name="tmpMppdbPath" value="/home/opengauss/tmp" />        <PARAM name="gaussdbToolPath" value="/home/opengauss/install/om" />        <PARAM name="corePath" value="/home/opengauss/corefile" />        <!-- openGauss 类型簇类型。该参数是可选的。single-inst表示一个主节点多个备节点的独立集群。-->        <PARAM name="clusterType" value="single-inst"/>    </CLUSTER>    <DEVICELIST>        <!-- opengauss_node1节点信息 -->        <DEVICE sn="1000001">             <!-- 主机名。-->            <PARAM name="name" value="opengauss_node1"/>             <!-- AZ 名称。该值为字符串，不能包含特殊字符，例如AZ1、AZ2、AZ3。-->            <PARAM name="azName" value="AZ1"/>             <!-- AZ优先。-->            <PARAM name="azPriority" value="1"/>            <!-- 如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP。后端存储网络中主机的内网IP地址，所有的 openGauss 主机都在这个网络上相互通信。-->            <PARAM name="backIp1" value="ip"/>             <!-- SSH可靠通道的外部IP地址。如果没有使用外部网络，您可以将其留空或将其设置为backIp1的值。-->            <PARAM name="sshIp1" value="ip"/>                         <!--dbnode1-->             <!-- 当前主机上要部署的数据库节点数。-->             <PARAM name="dataNum" value="1"/>             <!-- 数据库节点的基本端口号。默认值为40000。-->             <PARAM name="dataPortBase" value="15400"/>             <!-- 当前主机上存储数据库节点数据的目录。它是一个数据存储目录，应该在数据盘上。-->             <PARAM name="dataNode1" value="/home/opengauss/install/data/db1"/>             <!-- 当前集群中同步模式的节点数。该参数是可选的。取值范围为 0 到备用数据库节点数。-->             <PARAM name="dataNode1_syncNum" value="0"/>        </DEVICE>    </DEVICELIST></ROOT>

复制代码

接下来，就是初始化安装环境：执行 gs_preinstall，

./gs_preinstall -U omm -G dbgrp -X /home/opengauss/script/clusterconfig.xml

复制代码

检查预安装环境 gs_checkos，执行 gs_install，按提示步骤去执行即可，待安装完成后，查看状态

gs_om -t status --detail

复制代码

测试数据库连接是否正常

gsql -d postgres -p port

复制代码

启动/停止服务

gs_om -t stop 
gs_om -t start

复制代码

卸载服务

执行gs_uninstall 卸载集群su - ommgs_uninstall --delete-data本地卸载gs_uninstall --delete-data -L

复制代码

3、适配改造

接下来，那如何在我们项目工程中去替换传统数据库 MySql/SqlServer，实现数据库平滑替代？

// 驱动-连接地址-账号-密码等信息String driverClassName = "org.postgresql.Driver";String url = "jdbc:postgresql://ip:port/postgres";String username = "user";String password = "pwd";// 加载驱动Class.forName(driverClassName);// 获取数据库连接对象Connection con = (Connection) DriverManager.getConnection(url,username,password);// 获取数据库操作对象PreparesStatement ps = con.preparesStatement("SELECT COUNT(*) FROM TEST;");// 执行sqlResultSet rs= ps.executeQuery();// 这里还可以获取到数据库产品名称DatabaseMetaData metaData = (DatabaseMetaData) con.getMetaData();// 这里为国产数据库-适配，在xml指定国产数据库的databaseId奠定基础System.out.println("数据库产品名称:" + metaData.getDatabaseProductName());最后需关闭连接close，释放资源->rs-ps-con.

复制代码

tk.mybatis：mybatis 定制的第一大业务增强库，或 mybatis-plus，可根据实际业务场景择优选取控件。

pagehelper：分页控件，mybatis 定制的第二大业务增强库。

总结

从全面适配工作改造下来，这也确实给了 DBA 以及研发人员对数据库 SQL 方言语句书写的一些约束规范。

若是通过 Mysql 或 SqlServer 迁移导入至 openGauss。在数据迁移的时候，报某些字段超长，则需要查看源数据库中那些字段的类型及长度，这里应该是迁移有些字段，须在目标数据库中增加位宽。

比如：在 MySql 中 varchar 是表示字符，varchar(50)表示可以存放 50 个字符。这就意味着，50 个字节，如果存中文，在 utf-8 的字符集下，只能存最多 16 个。所以，从源数据库到目标数据库中，varchar 类型，需特别留意一下。

在实际项目工程中，研发尽量通用型写法。若是对于有些 BI 业务，其中，SQL 写法较为复杂，不同数据库厂商方言不兼容，则可以基于 Mybatis 插件的思想，根据当前数据库 databaseId，拦截 SQL 语句，加入各自数据库的 SQL 方言函数兼容，无需多套数据库 XML 中 SQL 写法，支持插拔式-需要时开启。

其中，分页的 SQL 拼装原理，对于不同的数据库可加入其对应的转换器，

protected BoundSql getPageBoundSql(Object parameterObject) {    String tempSql = sql;    String orderBy = PageHelper.getOrderBy();    if (orderBy != null) {        tempSql = OrderByParser.converToOrderBySql(sql, orderBy);    }    tempSql = localParser.get().getPageSql(tempSql);    return new BoundSql(configuration, tempSql, localParser.get().getPageParameterMapping(configuration, original.getBoundSql(parameterObject)), parameterObject);}

复制代码

发布于: 刚刚阅读数: 4

daydayup

关注

还未添加个人签名 2023-07-18 加入

还未添加个人简介

发布

暂无评论

创作场景

【我和 openGauss 的故事】记一次基于在银河麒麟系统上适配 openGauss 进阶之旅

【我和 openGauss 的故事】记一次基于在银河麒麟系统上适配 openGauss 进阶之旅

开篇

1、数据库架构

2、核心特性

资讯

实战

1、版本选取

2、安装部署

3、适配改造

总结

daydayup

评论