scala_scala资料文章-InfoQ写作平台

scala

0 人感兴趣 · 30 次引用

关注

最新
推荐

Scala 中 String 和 Int 隐式转换的问题分析

木子李G2020 年 12 月 11 日

分析Scala中String和Int的相关源码，发现隐式转换过程中的问题根源，给出解决方案。

scala 大数据编程隐式转换

https://static001.geekbang.org/infoq/44/44813dee71d074cfe9e3ad9b3db84f23.jpeg?x-oss-process=image/resize,w_416,h_234

Scala 基础 - 语法特性 (一)：类型和变量

大规模数据处理学习者2020 年 11 月 13 日

Scala的变量类型和变量的定义

scala

Flink 在窗口上应用函数 -6-9

小知识点2020 年 10 月 28 日

增量聚合函数：窗口内以状态形式存储某个值，且需要根据每个加入窗口的元素对该值进行更新。此类函数通常非常节省空间，且最终会将聚合值作为单个结果发送出去。如：ReduceFunction，AggregationFunction

scala 大数据 flink

Flink 窗口算子 -6-8

小知识点2020 年 10 月 22 日

窗口算子提供了一种基于有限大小的桶对事件进行分组，并对这些桶中有限大小的数据进行计算

scala 大数据 flink

Flink 中 CoProcessFunction6-7

小知识点2020 年 10 月 20 日

针对2个输入的底层操作

scala 大数据 flink

Flink 向副输出发送数据 6-6

小知识点2020 年 10 月 18 日

大多数DataStream API的算子都只有一个输出，即只能生成某个数据类型的结果流

scala 大数据 flink

Flink 时间服务和计时器 -6-5

小知识点2020 年 10 月 17 日

系统对于processElement()和onTimer两个方法的调用是同步的，可以防止并发访问和操作状态。

scala 大数据 flink

Flink 处理函数 -6-4

小知识点2020 年 10 月 16 日

DataStream API 提供了一组底层转换--处理函数，除了基本功能，还可以访问时间戳和水位线，并支持注册将来时间触发器，副输出功能可以将记录输出多个流

scala 大数据 flink

Flink 周期性水位线分配器 -6-3

小知识点2020 年 10 月 15 日

指示系统以固定的机器时间间隔来发出水位线，并推动事件时间前进。

scala 大数据 flink

分配时间戳和生成水位线

小知识点2020 年 10 月 14 日

每个事件都需要关联一个时间戳，该时间戳表示事件真实发生的时间

scala 大数据 flink

https://static001.geekbang.org/infoq/aa/aa8871095925ff3261b77a0359d80414.png?x-oss-process=image/resize,w_416,h_234

Scala 编程基础笔记

郑可夫斯基2020 年 10 月 12 日

最近由于要用spark作为开发工具，为了深入了解Spark,我在狂补Scala的知识，下面是我的学习笔记

scala

Flink 通过官网创建自己的工程 -20

小知识点2020 年 9 月 8 日

mvn archetype:generate \

scala 大数据 flink

19. 解决 Flink 升级 1.11 报错 No ExecutorFactory found to execute the application

小知识点2020 年 9 月 7 日

scala安装完成

scala 大数据 flink

Flink 从保存点启动应用 -18

小知识点2020 年 9 月 6 日

保存点保存和从保存点启动应用

scala 大数据 flink

Flink 保存点 -17

小知识点2020 年 9 月 5 日

Flink的故障恢复算法是基于状态的检查点来完成的,保存点作用

scala 大数据 flink

Flink 检查点存在的性能影响 -16

小知识点2020 年 9 月 4 日

Flink的检查点在不停止整个应用的情况下为流式应用生成一致的分布式检查点，但是会增加延迟。Flink采取了一些策略

scala 大数据 flink

1.Flink 检查点算法 -15

小知识点2020 年 9 月 3 日

Flink的检查点是基于Chandy-Lamport分布式快照算法来实现的，该算法不会暂停整个应用，而是会把生成检查点的过程和处理过程分离，这样在部分任务持久化状态的过程中，其它任务可以继续执行

scala 大数据 flink

Flink 从一致性检查点中恢复 -14

小知识点2020 年 9 月 2 日

（1）Flink会周期性地为应用状态生成检查点

scala 大数据 flink

https://static001.geekbang.org/infoq/55/557b9b2feec0a9eb2d0d90b4821967c1.png?x-oss-process=image/resize,w_416,h_234

Flink 检查点、保存点及状态恢复 -13

小知识点2020 年 8 月 31 日

接下来几小节会介绍检查点、保存点、状态恢复，Flink所独有的保存点

scala 大数据 flink

Flink- 有状态算子的扩缩容 -12

小知识点2020 年 8 月 30 日

流式应用的一个基本需求是根据输入数据到达的速率的变化调整算子并行度

scala 大数据 flink

Flink- 状态后端作用 -11

小知识点2020 年 8 月 29 日

状态后端负责2件事：本地状态管理和将状态以检查点的形式写入远程存储

scala 大数据 flink

https://static001.geekbang.org/infoq/3e/3ea89f8b1507a0b30820773a51b7288d.png?x-oss-process=image/resize,w_416,h_234

Flink- 键值分区状态 -10

小知识点2020 年 8 月 28 日

键值分区状态会按照输入算子记录所定义的键值来进行维护或访问，每个键值都维护一个状态实例，该实例总是位于那个处理对应键值记录的算子任务上。当任务在处理一个记录时，会自动把状态的访问范围限制为当前记录的键值。

scala 大数据 flink

https://static001.geekbang.org/infoq/6c/6c733a7423db0c281b7d6b2b85f01f2b.png?x-oss-process=image/resize,w_416,h_234

Flink 算子状态 -9

小知识点2020 年 8 月 27 日

算子状态作用域是某个算子任务

scala 大数据 flink

https://static001.geekbang.org/infoq/6b/6b4bfd8fe324586ecb97594c8b11d771.png?x-oss-process=image/resize,w_416,h_234

Flink 水位线和时间戳理解 -7

小知识点2020 年 8 月 25 日

处理时间：获取记录后处理记录的本地时间

scala 大数据 flink 模块化流程

1.Flink 任务之间通信开销 -6

小知识点2020 年 8 月 24 日

在Flink中采用多种技术，下面介绍基于信用值的流量控制任务链接

scala 大数据 flink

https://static001.geekbang.org/infoq/cc/cc7e238b0aaed727a4e57c140fec67b7.png?x-oss-process=image/resize,w_416,h_234

Flink 中的数据传输 -5

小知识点2020 年 8 月 23 日

TaskManager负责将数据从发送任务传输到接收任务，记录并非逐个发送，而是在缓冲区中以批次形式逐渐发送。该技术有效利用网络资源、实现高吞吐的基础，

scala 大数据 flink

Flink 高可用性设置 -4

小知识点2020 年 8 月 22 日

流处理通常7*24小时运行，即使内部出现故障也不能停止运行。本节讲解如何恢复故障进程

scala 大数据 flink 流计算

https://static001.geekbang.org/infoq/1f/1f43b8e6627cbe85ae2a0ea62eab49ae.png?x-oss-process=image/resize,w_416,h_234

Flink 的 2 种部署模式 -2

小知识点2020 年 8 月 20 日

框架模式是传统模式，即通过客户端提交应用到正在运行的服务器上。库模式Flink不是作为服务，而是以库的形式绑定到所在容器中，常用于微服务。

scala flink 大数据技术

https://static001.geekbang.org/infoq/c3/c3d53e1b473765a10d0d3a2fdbbbbd91.png?x-oss-process=image/resize,w_416,h_234

Flink 所需组件 -1

小知识点2020 年 8 月 19 日

Flink需要四个组件：Dispatch、JobManager、ResourceManager、TaskManager，基于Java虚拟机JVM运行，语言使用Java和Scala

scala 大数据 flink 流计算

https://static001.geekbang.org/infoq/80/8011ae3e6eb7c1a7fcfd048b12e9415b.png?x-oss-process=image/resize,w_416,h_234

Scala 中如何优雅地实现 break 操作

吴慧民2020 年 7 月 9 日

在开发过程中，经常会遇到在迭代的过程中，当满足特定条件时，终止迭代的情况，Java提供了break关键字，可以很方便地实现这一逻辑；但是Scala中并没有提供break关键字，那要如何实现呢？通过查阅相关文档，整理出如下两种解决方案：

scala

创作场景

scala

推荐作者

推荐标签