scala
0 人感兴趣 · 28 次引用
- 推荐
- 最新
Flink 中的数据传输 -5
TaskManager负责将数据从发送任务传输到接收任务，记录并非逐个发送，而是在缓冲区中以批次形式逐渐发送。该技术有效利用网络资源、实现高吞吐的基础，
Scala 中如何优雅地实现 break 操作
在开发过程中，经常会遇到在迭代的过程中，当满足特定条件时，终止迭代的情况，Java提供了break关键字，可以很方便地实现这一逻辑；但是Scala中并没有提供break关键字，那要如何实现呢？通过查阅相关文档，整理出如下两种解决方案：
1.Flink 检查点算法 -15
Flink的检查点是基于Chandy-Lamport分布式快照算法来实现的，该算法不会暂停整个应用，而是会把生成检查点的过程和处理过程分离，这样在部分任务持久化状态的过程中，其它任务可以继续执行
Flink 的 2 种部署模式 -2
框架模式是传统模式，即通过客户端提交应用到正在运行的服务器上。库模式Flink不是作为服务，而是以库的形式绑定到所在容器中，常用于微服务。
Flink- 键值分区状态 -10
键值分区状态会按照输入算子记录所定义的键值来进行维护或访问，每个键值都维护一个状态实例，该实例总是位于那个处理对应键值记录的算子任务上。当任务在处理一个记录时，会自动把状态的访问范围限制为当前记录的键值。
Flink 检查点存在的性能影响 -16
Flink的检查点在不停止整个应用的情况下为流式应用生成一致的分布式检查点，但是会增加延迟。Flink采取了一些策略
Flink 时间服务和计时器 -6-5
系统对于processElement()和onTimer两个方法的调用是同步的，可以防止并发访问和操作状态。
Flink 处理函数 -6-4
DataStream API 提供了一组底层转换--处理函数，除了基本功能，还可以访问时间戳和水位线，并支持注册将来时间触发器，副输出功能可以将记录输出多个流
Flink 在窗口上应用函数 -6-9
增量聚合函数：窗口内以状态形式存储某个值，且需要根据每个加入窗口的元素对该值进行更新。此类函数通常非常节省空间，且最终会将聚合值作为单个结果发送出去。如：ReduceFunction，AggregationFunction
