实例详解构建数仓中的行列转换

作者：华为云开发者联盟

2023-11-08
广东
本文字数：1951 字
阅读完需：约 6 分钟

本文分享自华为云社区《GaussDB数据库SQL系列-行列转换》，作者：Gauss 松鼠会小助手 2。

一、前言

在构建数据仓库或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，怎么实现，今天我们将以 GaussDB 数据库为例，给大家做一下讲解。

二、简述

1、行转列概念

即将多行一列数据转为一行多列显示。通常转化后将某一列分类后的值作为新的列名，将此值对应的多行数据显示成一行。

2、列转行概念

即将一行多列数据转成多行一列显示。通常将转化后的列名为某一行中某一列的值，来识别原先对应的数据。

三、GaussDB 数据库的行列转换实验示例

用一张学生成绩来举例：从老师的角度，在录入成绩时，每科老师都会单独录入每个学生的本科成绩。而从学生的角度，学生只关心自己各科的成绩分别是多少。所以如果把老师录入数据作为原始表，那么学生查看自己的成绩时就要用到行转列，如果让学生上报自己各科的成绩，然后老师去查对应学科的学生考试成绩时，那就是列转行了。

1、行转列示例

1）创建实验表（行存表）

--创建实验表（行存表）
CREATE TABLE grade(
name VARCHAR(10)
,course VARCHAR(10)
,score INT);
--初始化测试数据
INSERT INTO grade VALUES ('张三','数学',80);
INSERT INTO grade VALUES ('张三','英语',88);
INSERT INTO grade VALUES ('张三','语文',95);
INSERT INTO grade VALUES ('李四','数学',88);
INSERT INTO grade VALUES ('李四','英语',70);
INSERT INTO grade VALUES ('李四','语文',93);
--查看结果
SELECT * FROM grade ORDER BY course;

复制代码

2）静态行转列

--静态行转列
SELECT name
,sum(case when course = '数学' then score else 0 end) AS "数学"
,sum(case when course = '英语' then score else 0 end) AS 英语
,sum(case when course = '语文' then score else 0 end) AS 语文
FROM grade
GROUP BY name;

复制代码

使用 sum、case when 的方式：

3）行转列（结果值：拼接式）

使用 listagg within group：

--行转列（结果值：拼接式）
SELECT name, LISTAGG(score,',') WITHIN GROUP (ORDER BY course) FROM grade GROUP BY name;

复制代码

4）动态行转列（拼接 SQL 式）

通过“listagg + 创建 FUNCTION + VIEW”的方式实现

--动态行转列（SQL拼接式）
SELECT listagg(concat('SUM(CASE WHEN course = ''', course, ''' THEN score ELSE 0 END) AS "', course,'"'),',') WITHIN GROUP(ORDER BY 1) AS concat_text FROM (SELECT DISTINCT course FROM grade);
--concat_text的结果：
SUM(CASE WHEN course = '数学' THEN score ELSE 0 END) AS "数学",SUM(CASE WHEN course = '英语' THEN score ELSE 0 END) AS "英语",SUM(CASE WHEN course = '语文' THEN score ELSE 0 END) AS "语文"
--创建一个函数。
CREATE OR REPLACE FUNCTION fun_test()
RETURNS VOID
LANGUAGE SQL
AS $$ DECLARE
s_sql text;
rec record;
BEGIN
s_sql := 'SELECT listagg(CONCAT(''SUM(CASE WHEN course = '''''', course, '''''' THEN score ELSE 0 END) AS "'', course, ''"'' ),'','' ) WITHIN GROUP(ORDER BY 1) AS concat_text FROM (SELECT DISTINCT course FROM grade);';
EXECUTE s_sql INTO rec;
s_sql := 'DROP VIEW IF EXISTS v_score; CREATE VIEW v_score AS SELECT name, ' || rec.concat_text || ' FROM grade GROUP BY name;';
EXECUTE s_sql;
END $$;
--调用
CALL fun_test();
--查看执行结果
select * from v_score;

复制代码

Tip：请注意 SQL 拼写时的单引号、双引号。

2、列转行示例

1）创建实验表（复用前面的测试数据）

--创建实验表（复用前面的测试数据）
CREATE TABLE grade1 AS
SELECT name
,sum(case when course = '数学' then score else 0 end) AS "数学"
,sum(case when course = '英语' then score else 0 end) AS 英语
,sum(case when course = '语文' then score else 0 end) AS 语文
FROM grade
GROUP BY name;
--查看结果
SELECT * FROM grade1;

复制代码

2）使用 union all，将各科目（数学、英语、语文）整合为一列

--使用union all，将各科目（数学、英语、语文）整合为一列
SELECT * FROM
(
SELECT name, '数学' AS course, 数学 AS score FROM grade1
union all
SELECT name, '英语' AS course, 英语 AS score FROM grade1
union all
SELECT name, '语文' AS course, 语文 AS score FROM grade1
)
order by name;

复制代码

四、小结

行列互转在一些数据库使用场景中经常用到，比如数据分析、数仓建设等。但不同的数据库软件有着不同处理方式，但是行列换的基本思路是一致的。本文主要是以 GaussDB 数据为平台，为大家做了简单的讲述，欢迎测试。

点击关注，第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 3

原文链接:【http://xie.infoq.cn/article/3e03aefd4e5d54bce227667f9】。文章转载请联系作者。

华为云开发者联盟

关注

提供全面深入的云计算技术干货 2020-07-14 加入

生于云，长于云，让开发者成为决定性力量

发布

暂无评论

创作场景

实例详解构建数仓中的行列转换

一、前言

二、简述

1、行转列概念

2、列转行概念

三、GaussDB 数据库的行列转换实验示例

1、行转列示例

1）创建实验表（行存表）

2）静态行转列

3）行转列（结果值：拼接式）

4）动态行转列（拼接 SQL 式）

2、列转行示例

1）创建实验表（复用前面的测试数据）

2）使用 union all，将各科目（数学、英语、语文）整合为一列

四、小结

华为云开发者联盟

评论