scala

0 人感兴趣 · 28 次引用

  • 推荐
  • 最新
https://static001.geekbang.org/infoq/c3/c3d53e1b473765a10d0d3a2fdbbbbd91.png?x-oss-process=image/resize,w_416,h_234

Flink 所需组件 -1

用户头像
小知识点 2020 年 8 月 19 日

Flink需要四个组件:Dispatch、JobManager、ResourceManager、TaskManager,基于Java虚拟机JVM运行,语言使用Java和Scala

https://static001.geekbang.org/infoq/cc/cc7e238b0aaed727a4e57c140fec67b7.png?x-oss-process=image/resize,w_416,h_234

Flink 中的数据传输 -5

用户头像
小知识点 2020 年 8 月 23 日

TaskManager负责将数据从发送任务传输到接收任务,记录并非逐个发送,而是在缓冲区中以批次形式逐渐发送。该技术有效利用网络资源、实现高吞吐的基础,

Flink 高可用性设置 -4

用户头像
小知识点 2020 年 8 月 22 日

流处理通常7*24小时运行,即使内部出现故障也不能停止运行。本节讲解如何恢复故障进程

https://static001.geekbang.org/infoq/80/8011ae3e6eb7c1a7fcfd048b12e9415b.png?x-oss-process=image/resize,w_416,h_234

Scala 中如何优雅地实现 break 操作

用户头像
吴慧民 2020 年 7 月 9 日

在开发过程中,经常会遇到在迭代的过程中,当满足特定条件时,终止迭代的情况,Java提供了break关键字,可以很方便地实现这一逻辑;但是Scala中并没有提供break关键字,那要如何实现呢?通过查阅相关文档,整理出如下两种解决方案:

https://static001.geekbang.org/infoq/aa/aa8871095925ff3261b77a0359d80414.png?x-oss-process=image/resize,w_416,h_234

Scala 编程基础笔记

用户头像
郑可夫斯基 2020 年 10 月 12 日

最近由于要用spark作为开发工具,为了深入了解Spark,我在狂补Scala的知识,下面是我的学习笔记

1.Flink 检查点算法 -15

用户头像
小知识点 2020 年 9 月 3 日

Flink的检查点是基于Chandy-Lamport分布式快照算法来实现的,该算法不会暂停整个应用,而是会把生成检查点的过程和处理过程分离,这样在部分任务持久化状态的过程中,其它任务可以继续执行

https://static001.geekbang.org/infoq/1f/1f43b8e6627cbe85ae2a0ea62eab49ae.png?x-oss-process=image/resize,w_416,h_234

Flink 的 2 种部署模式 -2

用户头像
小知识点 2020 年 8 月 20 日

框架模式是传统模式,即通过客户端提交应用到正在运行的服务器上。库模式Flink不是作为服务,而是以库的形式绑定到所在容器中,常用于微服务。

https://static001.geekbang.org/infoq/6b/6b4bfd8fe324586ecb97594c8b11d771.png?x-oss-process=image/resize,w_416,h_234

Flink 水位线和时间戳理解 -7

用户头像
小知识点 2020 年 8 月 25 日

处理时间:获取记录后处理记录的本地时间

https://static001.geekbang.org/infoq/3e/3ea89f8b1507a0b30820773a51b7288d.png?x-oss-process=image/resize,w_416,h_234

Flink- 键值分区状态 -10

用户头像
小知识点 2020 年 8 月 28 日

键值分区状态会按照输入算子记录所定义的键值来进行维护或访问,每个键值都维护一个状态实例,该实例总是位于那个处理对应键值记录的算子任务上。当任务在处理一个记录时,会自动把状态的访问范围限制为当前记录的键值。

https://static001.geekbang.org/infoq/6c/6c733a7423db0c281b7d6b2b85f01f2b.png?x-oss-process=image/resize,w_416,h_234

Flink 算子状态 -9

用户头像
小知识点 2020 年 8 月 27 日

算子状态作用域是某个算子任务

Flink- 有状态算子的扩缩容 -12

用户头像
小知识点 2020 年 8 月 30 日

流式应用的一个基本需求是根据输入数据到达的速率的变化调整算子并行度

Flink- 状态后端作用 -11

用户头像
小知识点 2020 年 8 月 29 日

状态后端负责2件事:本地状态管理和将状态以检查点的形式写入远程存储

1.Flink 任务之间通信开销 -6

用户头像
小知识点 2020 年 8 月 24 日

在Flink中采用多种技术,下面介绍 基于信用值的流量控制 任务链接

Flink 从一致性检查点中恢复 -14

用户头像
小知识点 2020 年 9 月 2 日

(1)Flink会周期性地为应用状态生成检查点

Flink 从保存点启动应用 -18

用户头像
小知识点 2020 年 9 月 6 日

保存点保存和从保存点启动应用

https://static001.geekbang.org/infoq/55/557b9b2feec0a9eb2d0d90b4821967c1.png?x-oss-process=image/resize,w_416,h_234

Flink 检查点、保存点及状态恢复 -13

用户头像
小知识点 2020 年 8 月 31 日

接下来几小节会介绍检查点、保存点、状态恢复,Flink所独有的保存点

Flink 检查点存在的性能影响 -16

用户头像
小知识点 2020 年 9 月 4 日

Flink的检查点在不停止整个应用的情况下为流式应用生成一致的分布式检查点,但是会增加延迟。Flink采取了一些策略

Flink 保存点 -17

用户头像
小知识点 2020 年 9 月 5 日

Flink的故障恢复算法是基于状态的检查点来完成的,保存点作用

Flink 时间服务和计时器 -6-5

用户头像
小知识点 2020 年 10 月 17 日

系统对于processElement()和onTimer两个方法的调用是同步的,可以防止并发访问和操作状态。

Flink 中 CoProcessFunction6-7

用户头像
小知识点 2020 年 10 月 20 日

针对2个输入的底层操作

Flink 周期性水位线分配器 -6-3

用户头像
小知识点 2020 年 10 月 15 日

指示系统以固定的机器时间间隔来发出水位线,并推动事件时间前进。

分配时间戳和生成水位线

用户头像
小知识点 2020 年 10 月 14 日

每个事件都需要关联一个时间戳,该时间戳表示事件真实发生的时间

Flink 窗口算子 -6-8

用户头像
小知识点 2020 年 10 月 22 日

窗口算子提供了一种基于有限大小的桶对事件进行分组,并对这些桶中有限大小的数据进行计算

Flink 处理函数 -6-4

用户头像
小知识点 2020 年 10 月 16 日

DataStream API 提供了一组底层转换--处理函数,除了基本功能,还可以访问时间戳和水位线,并支持注册将来时间触发器,副输出功能可以将记录输出多个流

Flink 向副输出发送数据 6-6

用户头像
小知识点 2020 年 10 月 18 日

大多数DataStream API的算子都只有一个输出,即只能生成某个数据类型的结果流

Flink 在窗口上应用函数 -6-9

用户头像
小知识点 15 小时前

增量聚合函数:窗口内以状态形式存储某个值,且需要根据每个加入窗口的元素对该值进行更新。此类函数通常非常节省空间,且最终会将聚合值作为单个结果发送出去。如:ReduceFunction,AggregationFunction

scala_scala资料文章-InfoQ写作平台