写点什么

spark SQL

0 人感兴趣 · 11 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/3f/3f7a3af78a3af5b22113ed64636f9d45.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Spark SQL 基本架构

Spark SQL是构建在分布式计算框架Spark之上的结构化数据处理引擎,它不仅支持类HQL查询语言,提供了一套结构化编程接口DataFrame/DataSet。

https://static001.geekbang.org/infoq/f1/f180955489bb570f07244fca73127717.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache Kyuubi 在 B 站大数据场景下的应用实践

用户头像
网易数帆
2022-10-27

引入了Kyuubi,通过Kyuubi提供的多租户、多引擎代理以及完全兼容Hive Thrift协议能力,实现各个部门Adhoc任务的资源隔离和权限验证。

https://static001.geekbang.org/infoq/c7/c76328d056c684e3d5b2e305cb3edb45.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

hive on spark 还是 spark on hive?

在运行sql的时候,hive on spark 还是 spark on hive 到底是什么呢?它们是一个东西吗?区别是什么?

https://static001.geekbang.org/infoq/0c/0c0dd25a72c7876b1cb156e8b4d52d93.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Shuttle + Alluxio 加速内存 Shuffle 起飞

用户头像
Alluxio
2022-08-25

Shuttle是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文章中详细介绍了Shuttle的架构和设计理念。

深入理解 SQL 中的 Grouping Sets 语句

用户头像
元闰子
2022-07-03

本文首先简单介绍 Grouping Sets 的用法,然后以 Spark SQL 作为切入点,深入解析 Grouping Sets 的实现机制。

大数据培训 spark SQL 中 count(*) 和 count(1) 源码分析

用户头像
@零度
2022-04-11

count函数的代码虽然简单,但是开发该代码的同学还是做了一些优化在里面_大数据培训。

大数据开发之 Spark SQL 的 Catalyst 介绍

用户头像
@零度
2022-01-12

SQL优化器核心执行策略主要分为两个大的方向:基于规则优化(RBO)以及基于代价优化(CBO),基于规则优化是一种经验式、启发式的优化思路,更大数据培训多地依靠前辈总结出来的优化规则,简单易行且能够覆盖到大部分优化逻辑

大数据开发之 SparkSQL 面试篇

用户头像
@零度
2022-01-11

Spark SQL是一个用来处理结构化数据的Spark组件,前身是shark,但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等,制约了Spark各个组件之间的相互集成,因此Spark SQL应运而生大数据培训。

大数据开发之 Spark SQL 及基础引擎知识分享

用户头像
@零度
2021-12-29

​Spark SQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员,也能快速完成相应的计算查询需求,大数据培训这也是其存在的重要意义。今天的大数据开发学习分享

https://static001.geekbang.org/infoq/92/9260efecd91b79b2714a714c8de67105.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据开发开源平台之 Spark SQL 的基础

用户头像
@零度
2021-12-01

​Spark SQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员,也大数据培训能快速完成相应的计算查询需求,这也是其存在的重要意义。

spark SQL_spark SQL技术文章_InfoQ写作社区