写点什么

spark SQL

0 人感兴趣 · 7 次引用

  • 最新
  • 推荐

大数据培训 spark SQL 中 count(*) 和 count(1) 源码分析

用户头像
@零度
23 小时前

count函数的代码虽然简单,但是开发该代码的同学还是做了一些优化在里面_大数据培训。

大数据开发之 Spark SQL 的 Catalyst 介绍

用户头像
@零度
1 月 12 日

SQL优化器核心执行策略主要分为两个大的方向:基于规则优化(RBO)以及基于代价优化(CBO),基于规则优化是一种经验式、启发式的优化思路,更大数据培训多地依靠前辈总结出来的优化规则,简单易行且能够覆盖到大部分优化逻辑

大数据开发之 SparkSQL 面试篇

用户头像
@零度
1 月 11 日

Spark SQL是一个用来处理结构化数据的Spark组件,前身是shark,但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等,制约了Spark各个组件之间的相互集成,因此Spark SQL应运而生大数据培训。

https://static001.geekbang.org/infoq/e1/e119279c358d70d0d2b632afa1e376bc.png?x-oss-process=image/resize,w_416,h_234

大数据平台的 SQL 查询引擎有哪些?

大数据平台中Hadoop的分布式文件系统(HDFS)之上形成了一种极具特色的技术群体,那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等;在分布式数据库HBase也具有Impala、phoenix这样的SQL外观,可以通过SQL与HBase交互;另外分布式关系模型数

大数据开发之 Spark SQL 及基础引擎知识分享

用户头像
@零度
2021 年 12 月 29 日

​Spark SQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员,也能快速完成相应的计算查询需求,大数据培训这也是其存在的重要意义。今天的大数据开发学习分享

https://static001.geekbang.org/infoq/5b/5bfe32887b8decaa9930f8ed02b17997.png?x-oss-process=image/resize,w_416,h_234

Spark SQL 之 RDD 转换 DataFrame 的方法

用户头像
@零度
2021 年 12 月 2 日

RDD转换DataFrame之Reflection方法

https://static001.geekbang.org/infoq/92/9260efecd91b79b2714a714c8de67105.png?x-oss-process=image/resize,w_416,h_234

大数据开发开源平台之 Spark SQL 的基础

用户头像
@零度
2021 年 12 月 1 日

​Spark SQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。Spark SQL使得一般的开发人员或者非专业的开发人员,也大数据培训能快速完成相应的计算查询需求,这也是其存在的重要意义。

spark SQL_spark SQL技术文章_InfoQ写作平台