大数据处理

3 人感兴趣 · 43 次引用

  • 推荐
  • 最新
https://static001.geekbang.org/infoq/8e/8ebcc0c8930fd5df384829cbd8859fa4.png?x-oss-process=image/resize,w_416,h_234

扎心!天天写代码,方向真的对吗?

用户头像
Apache Flink 2020 年 5 月 8 日

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。”

https://static001.geekbang.org/infoq/8b/8b9af8ecc8d3278eed253b0520e960ce.png?x-oss-process=image/resize,w_416,h_234

随笔文,关于”中台“ 的一些“小偏论”

用户头像
松子(李博源) 2020 年 9 月 11 日

这是一个随笔,也是回答几个“中台” 直播的几个问题与仅代表个人的观点

https://static001.geekbang.org/infoq/c4/c4b61a3f6b6a750121e6fdd46412e600.png?x-oss-process=image/resize,w_416,h_234

数仓系列 | Flink 窗口的应用与实现

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

https://static001.geekbang.org/infoq/74/742e9eec39a7aa43cdf6de230d13795e.png?x-oss-process=image/resize,w_416,h_234

TensorFlow On Flink 原理解析

用户头像
Apache Flink 2020 年 5 月 12 日

简介: 本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示,整个流程包含特征工程、模型训练、离线或者是在线预测等环节。

https://static001.geekbang.org/infoq/92/92cc0c80fb7de5936f4e663001747353.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 1.10 Container 环境实战

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8S 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享,

https://static001.geekbang.org/infoq/d4/d45f3abca311e9b6d0255ea5b78bf70d.png?x-oss-process=image/resize,w_416,h_234

如何从 0 到 1 参与 Flink 社区?

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么,然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。

https://static001.geekbang.org/infoq/05/05382cc98f8f853cf564ab4b068212a7.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup,一次性安排了大数据当下热门话题

用户头像
Apache Flink 2020 年 6 月 3 日

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

https://static001.geekbang.org/infoq/c7/c7525390a22e8d2c3661e9b63dcd4ffc.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup,一次性安排了大数据当下热门话题

用户头像
Apache Flink 2020 年 5 月 29 日

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

https://static001.geekbang.org/infoq/7e/7e5aa4ca2f6b7170f01839ed8eea5162.jpeg?x-oss-process=image/resize,w_416,h_234

都在说实时数据架构,你了解多少?

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 本文从上述现状及实时数据需求出发,结合工业界案例、笔者的实时数据开发经验, 梳理总结了实时数据体系建设的总体方案。

https://static001.geekbang.org/infoq/cf/cf336382e6a67f45a3e6bb7118aec0de.png?x-oss-process=image/resize,w_416,h_234

Flink 在快手实时多维分析场景的应用

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

https://static001.geekbang.org/infoq/6b/6b0c307d56ecdc4176f25ddf7523b06e.jpeg?x-oss-process=image/resize,w_416,h_234

免费下载 | 阿里云实时计算整体解决方案白皮书重磅发布!

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 为更好的助力各行各业实现企业数字化转型,为企业的创新、重构核心竞争力提供坚实支撑;阿里云实时计算重磅推出金融、物流、IoT、广告等行业整体解决方案白皮书。

https://static001.geekbang.org/infoq/80/8082b38079bb99d86d4d29733823a2af.jpeg?x-oss-process=image/resize,w_416,h_234

Iceberg 在基于 Flink 的流式数据入库场景中的应用

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 本文以流式数据入库的场景为基础,介绍引入 Iceberg 作为落地格式和嵌入 Flink sink 的收益,并分析了当前可实现的框架及要点。

https://static001.geekbang.org/infoq/4c/4c2df5ced82c951c549012d7c30680bd.jpeg?x-oss-process=image/resize,w_416,h_234

祝贺!两位 Apache Flink PMC 喜提 Apache Member

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 目前,国内(华人)近 30 位 Apache Member 中,有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献,不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展,更活跃在多个开源项目,持续为开源社区做贡献。

https://static001.geekbang.org/infoq/88/884afb782e185adcabed334dec26b371.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 消息聚合处理方案

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案,描述不同方案中可能遇到的问题和解决方法,并进行对比。

https://static001.geekbang.org/infoq/ab/ab76276dfe51aa0e9d1381a9a66a1ac2.png?x-oss-process=image/resize,w_416,h_234

深度解读 Flink 1.11:流批一体 Hive 数仓

用户头像
Apache Flink 2020 年 6 月 1 日

简介: Flink 1.11 中流计算结合 Hive 批处理数仓,给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外,Flink 1.11 完善了 Flink 自身的 Filesystem connector,大大提高了 Flink 的易用性。

https://static001.geekbang.org/infoq/51/51818cac96dffad613d20e3ed3e7b617.jpeg?x-oss-process=image/resize,w_416,h_234

大数据的下一站是什么?服务 / 分析一体化(HSAP)

用户头像
Apache Flink 2020 年 6 月 14 日

简介: 大数据的下一站是什么?服务/分析一体化(HSAP)

https://static001.geekbang.org/infoq/79/79ed34782bdc0e2aa9ca2abd8c8be8d3.jpeg?x-oss-process=image/resize,w_416,h_234

PyFlink 社区扶持计划正式上线!

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 作为 Dataflow 模型的最早采用者之一,Apache Flink 在流批一体特性的完成度上在开源项目中是十分领先的。本文将基于社区资料和笔者的经验,介绍 Flink 目前(1.10)流批一体的现状以及未来的发展规划。

https://static001.geekbang.org/infoq/1a/1a95242be03d58a30c07e9dcb5285730.jpeg?x-oss-process=image/resize,w_416,h_234

18 个 PPT,29 个提问解答,都在这儿啦!

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 为期一天半的 Flink Forward 中文精华版在北京、上海、杭州三地进行联动直播,吸引了全球近 20000 人次开发者在线观看。除优质内容外,Flink Forward 精华版还首次开创问题征集,在线观看直播的同学可及时对嘉宾分享提出疑问并邀请讲师在线解答。

https://static001.geekbang.org/infoq/5c/5ce7f0bedc8f2a7edf83b72f38c6c406.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的经典场景和业务故事有哪些?看看他们就知道了

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 在大数据的日常场景中,从数据生产者,到数据收集、数据处理、数据应用(BI+AI),整个大数据 + AI 全栈的每个环节,Flink 均可应用于其中。

https://static001.geekbang.org/infoq/9a/9a0b8d66fd661f394946b152f74d2c1e.png?x-oss-process=image/resize,w_416,h_234

实时即未来?一个小微企业心中的流计算

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 本文由墨芷技术团队唐铎老师分享,主要讲述其技术团队内部引入流计算的整个过程,包括最初的决策、期间的取舍以及最终落地,一路走来他们的思考、感悟以及经验分享。 

【迁移】Flink vs Spark

用户头像
罗琦 2020 年 5 月 22 日

flink我认为这只是模仿实现了spark功能的另一个框架。但是随着我研究的深入,越来越清晰地发觉,有些藏匿在这个看起来很相似的API后的一些新颖的想法使得flink区别于spark。我被这些想法吸引了,并且花越来越多的时间搞懂和探索。

https://static001.geekbang.org/infoq/18/1866b5e6c3d00326ca907c5f50a7e269.png?x-oss-process=image/resize,w_416,h_234

数仓大法好!跨境电商 Shopee 的实时数仓之路

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 本文讲述 Flink 在 Shopee 新加坡数据组(Shopee Singapore Data Team)的应用实践,主要内容包括:实时数仓建设背景、Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景、实时任务监控

https://static001.geekbang.org/infoq/6b/6b82481a7de630b1078dffefbe7510e8.jpeg?x-oss-process=image/resize,w_416,h_234

回顾 | Apache Flink Meetup 杭州站圆满结束(附 PPT 下载)

用户头像
Apache Flink 2020 年 5 月 20 日

简介: 5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

https://static001.geekbang.org/infoq/c4/c4034e1236b91f9c83daf84a45863228.png?x-oss-process=image/resize,w_416,h_234

大数据技术发展 (一):大数据技术的起源

用户头像
Jeffy 2020 年 8 月 18 日

我们知道大数据技术是时下应用非常广泛的技术,也是未来的趋势,但是你知道大数据技术的起源吗?本文带你一探大数据技术的起源

https://static001.geekbang.org/infoq/86/8601935fb4c6fc1115a14061f664608d.png?x-oss-process=image/resize,w_416,h_234

都在这儿了!5 月 Flink 社区发版、更新汇总

用户头像
Apache Flink 2020 年 5 月 20 日

简介: 为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

https://static001.geekbang.org/infoq/ec/ec248d8f5ca7c1ac24b2e25220907f2c.png?x-oss-process=image/resize,w_416,h_234

面试指南 | 终于要跟大家见面了,我有点紧张。

用户头像
Apache Flink 2020 年 5 月 6 日

面试,一个令人大多数同学头疼的问题,要么成功进入心仪公司,要么沮丧与其失之交臂。但是,如果能在面试前就能知道面试官将会问的问题,然后可以好好提前准备,这种感觉是不是特别棒?

https://static001.geekbang.org/infoq/66/662f6e9155913756b69620b446123d01.png?x-oss-process=image/resize,w_416,h_234

重磅!Apache Flink 1.11 功能前瞻抢先看!

用户头像
Apache Flink 2020 年 5 月 26 日

简介: Flink 1.11 版本即将正式宣告发布!为满足大家的好奇与期待,我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进,并致力于进一步提高 Flink 的可用性及性能。

https://static001.geekbang.org/infoq/3b/3b9f407be74da6566b965d03d73d85f4.png?x-oss-process=image/resize,w_416,h_234

初识 Druid——实时 OLAP 系统

用户头像
justskinny 2020 年 8 月 29 日

这篇文章介绍 Druid ——一个实时分析 OLAP 系统,内容主要分三块:Druid 的简介、主要特点还有适用场景。分享的目标是让读者了解 Druid 是什么,以后在做数据分析技术选型的时候可以快速匹配。如果有写得不对或者不清楚的地方,欢迎留言讨论。

https://static001.geekbang.org/infoq/80/804982bf718b29c8a42d916c4b49c780.png?x-oss-process=image/resize,w_416,h_234

如何用一套引擎搞定机器学习全流程?

用户头像
Apache Flink 2020 年 5 月 18 日

本文由阿里技术专家陈戊超(仲卓)分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域,此外还在向社会各个领域迅速渗透。

大数据处理_大数据处理资料文章-InfoQ写作平台