写点什么

测试需求平台 10-DBUtils 优化数据连接与 SQL Limit 实现分页

作者:MegaQi
  • 2023-04-25
    上海
  • 本文字数:3638 字

    阅读完需:约 12 分钟

测试需求平台10-DBUtils优化数据连接与SQL Limit实现分页

🎉 此分享将会是一个系列分享,将使用最新的 Acro Vue 前端框架,和 Python Flask 服务从 0-1 手把手实现一个测试需求平台,内容将囊括基础、扩展和实战,由浅入深带你实现测试开发岗位中平台工具技术能力入门和提升。

作者:大奇 MegaQi | Info 签约作者 ,专注测试开发技术实战干货分享,欢迎访问主页长期关注。


本篇将对数据库进行优化,包括链接池优化和 limit 使用技巧。

1.数据库连接优化

在项目中链接数据是直接通过 pymysql 去做的链接请求关闭,每次操作都要独立重复请求,其实是比较浪费资源,在并发不大的小项目虽然无感知,但如果有频繁请求的项目中,就会有性能问题,那么可以通过使用连接池技术,管理来进行优化

1.1 Python DBUntils

DBUnitls 是一套 Python 的数据库连接池包,对链接对象进行自动链接和释放,提高高频高并发下数据访问性能,大概的原理如:



DBUntils 按照配置初始化多个数据库连接存储在连接池中


  • 在程序创建连接的时候,从空闲的连接池中获取,不需要重新初始化连接,提升链接速度;

  • 在程序使用完毕后,把连接放回连接池,并不真正地关闭,等待其他请求使用,减少频繁数据的打开和关闭操作。


DBUntils 提供两种方式,并都能自动管理


  • PersistentDB (persistent_db) 提供线程专用的连接

  • PooledDB (pooled_db) 提供线程间可共享的连接


官方 [注解-1] 给出的示意图如下,仅够参考下,不进行扩展



使用此功能需要安装依赖 pip install DBUtils ,一般比较常用就是共享的方式,以 pooled_db 为例子,使用方法很简单


import pymysqlfrom dbutils.pooled_db import PooledDB# 初始化数据库连接,使用pymysql连接,pool = PooledDB(pymysql,3,host='',port='',user='',passwd='',database='')
# 一般连接db = pool.connection()cur = db.cursor()cur.execute(...)res = cur.fetchone()cur.close() # 关闭使用游标db.close() # 关闭使用连接
# 或者通过with方式with pool.connection() as db: with db.cursor as cur: cur.execute(...) res = cur.fetchone()
复制代码


一些参数说明,上边说明中第一参数为 creator 指定那种连接模式,第二参数为 mincached


  • mincached :启动时开启的空的连接数量

  • maxcached :连接池最大可用连接数量

  • maxshared : 连接池最大可用共享连接数量

  • maxconnections : 最大允许连接数量

  • maxusage :单个丽娜姐最大复用次数

  • blocking :达到最大数量时是否阻塞


这里只是对连接的管理,DBUntils 的基本知识点讲完了,关于性能对比可以网上搜索相关内容,另外其他的数据库操作还按照自己使用方法进行操作即可。

1.2 实例改造

以已经实现的 product.py 查询列表接口做一个实际改改造,具体的应用会在后边的需求实现中体现。


from dbutils.pooled_db import PooledDB
+ pool = PooledDB(pymysql, mincached=2, maxcached=5,host=config.MYSQL_HOST, port=config.MYSQL_PORT,+ user=config.MYSQL_USER, passwd= config.MYSQL_PASSWORD, database=config.MYSQL_DATABASE,+ cursorclass=pymysql.cursors.DictCursor)
@app_product.route("/api/product/list", methods=['GET'])def product_list():- # 初始化数据库链接- connection = connectDB()+ # 使用连接池链接数据库+ connection = pool.connection() # 使用python的with..as控制流语句(相当于简化的try except finally) with connection.cursor() as cursor: # 查询产品信息表-按更新时间新旧排序 sql = "SELECT * FROM `products` WHERE `status`=0 ORDER BY `update` DESC" cursor.execute(sql) data = cursor.fetchall()
# 按返回模版格式进行json结果返回 resp_data = { "code": 20000, "data": data }
复制代码

2.SQL 中 limit

2.1 基础知识

项目中对于较多的数据显示,需要实现分页数据查询,这可以利用 SQL 语法关键词 limit ,它可以限制查询结果返回的数量,也可以指定起始索引,来完成分页查询效果,语法形式与参数解释:


  • i:指定。一个返回记录行的偏移量(可省略即表示从 0 开始)

  • n:第二个参数指定返回记录行的最大数目


# 基本用法SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
# 简化形式select * from tableName limit i,n
复制代码


两个示例如:


... limit 10 # 查询前10条数据, 也可以表示为limit 0,10... limit 10,15 # 从11条开始返回后15条数据 即11-25
复制代码


这里有个 注意事项,网上好多关于 limit 最后一个参数用 -1 可以表示,指定偏移量到最后,这个目前在新的 MYSQL 版本已经无效,会报语法错误,办法是用个较大的数代替。


如何实现分页查询,通过观察我们可以这样,如果前端传递的 page 页数(初始为 1),每页的数量为 page_size,那么第一个参数计算偏移量可设置为 (page-1) * page_size,第二参数表可设置为page_size, 例如 前端请求第一页 20 个,则计算后后两个参数为( 0, 20),再如请求第 2 页 20 个,则计算后两个参数为 ( 20, 20 ),这样就可以实现分页数据查询效果。

2.2 实践案例

具体案例这里截图一张后边实现提测需求查询,通过参数 size,page 计算 limit 参数实现分页的数据查询逻辑。



这个知识点最后,扩展一个小优化,如果是分页数据特别,第一个参数偏移量太大的时候会带来性能的问题,优化的方式是使用子查询优化(前提条件是有自增 ID 的表),即先通过查询偏移量 ID,然后条件 “>=ID + limit 数量" 进行查询。


SELECT * FROM apps where id >=(SELECT id FROM apps LIMIT 100000,1) LIMIT 20
复制代码

3 Moment.js

JavaScript 日期处理类库( http://momentjs.cn/ ),它提供了一些经常用的时间处理方法,在 node.js 和 浏览器中都可以直接使用。

3.1 安装和使用

在我们前端项目中安装和引用如下:


# 终端安装依赖(笔者测试的最新版本为2.24.0)npm install moment
# 导入依赖import moment from "moment";
复制代码


也可通过 require 定义,或 html 直接引用


// require定义var moment = require('moment');moment().format();
// 浏览器script引用<script src="moment.js"></script><script> moment().format();</script>
复制代码

3.2 常用方法

3.2.1 格式化时间

通过 format('字符串') 对日期进行格式化。


// 默认locale语言为cnmoment().format('MMMM Do YYYY, h:mm:ss a'); // August 13th 2022, 2:19:01 pmmoment().format('dddd');                    // Saturdaymoment().format("MMM Do YY");               // Aug 13th 22
// 更改本地语言为简体中文moment.locale('zh-cn')const res = moment().format('YYYY-MM-DD HH:mm'); // 2022-08-13 14:32
复制代码


格式字符串很多,可以根据需要自行组合


http://momentjs.cn/docs/#/displaying/format/


3.2.2 相对时间

通过fromNowtoNowto等方法计算相对时间


// 当前时间与北京奥运开幕时间  xx年前moment("20080808", "YYYYMMDD").fromNow();
// 到现在为止已距当天/小时已经过去moment().startOf('day').fromNow(); // xx 小时前moment().startOf('hour').fromNow(); // xx 分钟前
// 到现在为止已距当天/小时结束还有moment().endOf('day').fromNow() // xx 小时后moment().endOf('hour').fromNow() // xx 分钟后
// toNow与fromNow给出相反的间隔moment([2008,8,8]).toNow() // xx 年后
// to用户两个时间的对比const start = moment([2022, 8, 11]);const end = moment([2022, 8, 13]);console.log(end.to(start)) // 2 天前console.log(start.to(end)) // 2 天后
复制代码

3.2.3 时间计算

subtract() 通过减去时间来改变原始的 momentadd() 通过增加时间来改变原始的 momentstartOf() / endOf() 通过将原始的 moment 设置为时间单位的开头/末尾来对其进行更改注:以上计算本身还是 moment 如果项展示还需要借助formatcalendar


// 减去响应的天数console.log(moment().subtract(10, 'days')) console.log(moment().subtract(10, 'days').format("YYYY-MM-DD"))console.log(moment().subtract(10, 'days').calendar())
// 已2022年8月13日 13时测试结果如下// Moment<2022-08-03T15:01:51+08:00>// 2022-08-03// 2022/08/03 // 同样测试时间天数加法console.log(moment().add(7, 'days').calendar()) // 2022/08/20console.log(moment().add(1, 'months').calendar()) // 2022/09/13console.log(moment().add(10, 'years').calendar()) // 2032/08/13
// 举例当月的开始和结束天console.log(moment().startOf('month').calendar())console.log(moment().endOf('months').calendar())
复制代码


对于moment.js 以上是大奇认为比较常用的一些方法,还有更多的用法方便在时间上的快捷操作,按照项目需要随用随事到官方查看使用文档即可。


本篇主要讲解了几个后边要用到扩展知识点,在当今的开发环境生态下,有很多类似这样好用的前后端开发工具包,我们要善于发现和利用它们,尽量避免无效重复造轮子,把时间花费在功能实现上。


发布于: 刚刚阅读数: 3
用户头像

MegaQi

关注

InfoQ签约作者 |公众号: 非典型性程序员 2018-02-15 加入

分享一些系列测试平台开发教程,也记录一些自己研究的技术,遇到的问题,总之想分享一些干货内容,愿给这个行业贡献微不足道的力量,不断突破不断成长。

评论

发布
暂无评论
测试需求平台10-DBUtils优化数据连接与SQL Limit实现分页_测试平台开发_MegaQi_InfoQ写作社区