spark
2 人感兴趣 · 69 次引用
- 最新
- 推荐
Spark 如何进行动态资源分配
对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务，若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
Spark 知识点简单总结
Hadoop底层使用MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；
Spark 地基之 RDD
RDD是Spark的基本数据抽象，利用将数据存储在内存；分区存储使得其天然支持并行；存储依赖关系提升错误恢复，基于RDD的论文介绍了RDD的一些概念和实现思想
Spark 中的累加器和广播变量
在默认情况下，当Spark在集群的多个不同节点的多个任务上并行运行一个函数时，它会把函数中涉及到的每个变量，在每个任务上都生成一个副本。但是，有时候需要在多个任务之间共享变量，或者在任务(Task)和任务控制节点(Driver Program)之间共享变量。
你的 Parquet 该升级了：IOException: totalValueCount＝＝0 问题定位之旅
摘要： 使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。
Spark 性能调优 -Shuffle 调优及故障排除篇
本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。
spark 性能调优之 JVN 调优
对于JVM调优，首先应该明确，(major)fullgc/minor gc，都会导致JVM的工作线程停止工作，即stop the world。
Flink VS Spark
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的
Spark 性能调优 -Shuffle 调优及故障排除篇
本文开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。
Spark 提交后都干了些什么？
最近做了一个Spark小任务，在client模式下运行没问题，但是换了cluster模式就会出现一些第三方包找不到的问题。这是由于集群只在堡垒机中放了大部分的资源和jar包，而其他的如数据节点等节点中缺少这些包，因此需要将这些jar包也动态传到数据节点。
企业大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析
本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入HiveServer2 进行全面的分析。
Spark 支持自定义 Python 环境
现有大数据平台的Spark版本是2.1.0，Python版本2.7和3.6 ，通过PySpark+Jupyter方式提供服务。Python 2年岁久远，升级支持Python 3
Spark Shuffle 内部机制（二）
在上一篇文章里的Spark Shuffle内部机制（一）中我们介绍了Spark Shuffle Write的框架设计，在本篇中我们继续总结一下Spark Shuffle Read的框架设计。
