写点什么

大数据技术

0 人感兴趣 · 22 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/b2/b29062ba7b94d6965fe0de3e5993265a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

四种主流的大数据技术

MapReduce编程模型的提出为大数据分析和处理开创了一条先河,其后涌现出一批知名的开源大数据技术。

https://static001.geekbang.org/infoq/4d/4d8a1fc1a2c2955a0a74ce7e8802f04c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

企业级大数据技术框架

大数据尝试从海量数据中,通过一定的分布式技术手段,挖掘出有价值的信息,最终提供给用户,进而产生实用价值和商业价值。

https://static001.geekbang.org/infoq/14/147ad38105fc87c99e18c1188521781c.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

华为大数据开发平台 DataFactory 行业应用典型案例

用户头像
宇宙之一粟
2022-08-31

本文将基于华为大数据开发平台 DataFactory 实践数据仓库的快速构建,学会基于 DataFactory 实践数据仓库模型设计,体验 DataFactory 独特的数据流设计工具,最后实战一站式数据开发,快速完成端到端流程。

https://static001.geekbang.org/infoq/6f/6fa4396ea41ff1e2b66ac678429b7017.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

openLooKeng 视图详解

用户头像
openLooKeng
2021-11-22

数据库中我们常听到视图的说法。其实,大数据多源查询分析引擎openLooKeng也是有视图的概念,下面会以Hive Connector对存在的几种视图进行讲解。

https://static001.geekbang.org/infoq/51/51265c9a2d4851f47d74dea2441fe67e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

吐血整理:常用的大数据采集工具,你不可不知

用户头像
小术晓术
2021-11-10

大数据的来源多种多样,在大数据时代背景下,如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石,大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据,依据采集环境及数据类型选择适当的大数据采集方法及

三分钟了解大数据技术发展史

用户头像
张浩_house
2021-08-19

我们常说的大数据技术,大致主要起源于Google在2004年前后发表的三篇论文,其实数据处理早就存在,每个公司或者个人都有自己的大数据处理系统,并没有形成编程框架和理念,而这三篇论文也就是我们熟知的大数据三驾马车,分别是分布式文件系统GFS、大数据分布

https://static001.geekbang.org/infoq/c8/c8345e4f83a410430444d3bcae1975ec.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何通过 openLooKeng 更高效访问 HBase?

用户头像
openLooKeng
2021-04-28

数据虚拟化引擎openLooKeng中的HBase Connector支持访问Apache HBase集群并进行查询和创建表的操作。用户可以在openLooKeng中创建表,并映射到HBase Cluster中已有的表,支持INSERT、SELECT和DELETE操作。

https://static001.geekbang.org/infoq/4d/4de4eb94af74cfa19862f341b9e48283.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Prophecis 0.2.0 版本发布

用户头像
WeDataSphere
2021-03-22

Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台,提供多种模型训练调试方式,集成多种开源机器学习框架,具备机器学习计算集群的多租户管理能力,提供生产环境全栈化容器部署与管理服务。

https://static001.geekbang.org/infoq/db/db32c73e38c6f291ce88d1b834c20a35.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Hadoop 之 YARN 的内部机制

用户头像
hanke
2021-03-15

前面两篇文章,我们介绍了Hadoop里两个重要的组件MapReduce和HDFS。本文我们一起看一下,作为大数据业内用的比较普遍的YARN的内部机制。

https://static001.geekbang.org/infoq/8a/8ab3c0e215fafcaff9aad5e253fd3c47.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据知识专栏 - Hadoop 的资源管理 Yarn 介绍

用户头像
小马哥
2021-01-23

大数据专栏系列文章: 通过该文章, 了解Yarn的运行机制, 包括资源调度与应用管理.

https://static001.geekbang.org/infoq/a3/a3f1ae8ba26e10923a1fe9aecac0c7d2.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据知识专栏 - Zookeeper 的 Shell 操作

用户头像
小马哥
2021-01-12

小马哥的每天大数据知识分享 - Zookeeper的Shell操作

https://static001.geekbang.org/infoq/be/be3537f2940564f3a07450dd03fc3df0.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Spark 3.0 关键新特性回顾

用户头像
hanke
2021-01-06

从Spark 3.0官方的Release Notes可以看到,这次大版本的升级主要是集中在性能优化和文档丰富上(如下图),其中46%的优化都集中在Spark SQL上。

https://static001.geekbang.org/infoq/17/17b1e789f3cf873071b960e1de83005a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

智慧警务大数据平台开发,数据可视化分析平台搭建

用户头像
t13823115967
2021-01-06

随着大数据时代的来临,科技的进步的日异月新,互联网已经深入了我们所有人生活的方方面面。云计算、大数据技术的出现,为传统公安信息化的建设模式、方法、技术等方面带来了变革。

https://static001.geekbang.org/infoq/74/74855cd85f573c258518005f92eb14ca.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Hadoop 编程实战:HDFS API 编程

用户头像
罗小龙
2020-12-27

前言:Hadoop分布式计算平台不等同大数据。大数据是当前时代数据爆炸的一种表征,Hadoop是通过生态圈内的分布式工具,凝聚计算机集群的算力,对大数据进行计算的一个平台。

https://static001.geekbang.org/infoq/98/984b408c43f9c133c0ea2d18209d5d0a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式时序数据库 DolphinDB 与 InfluxDB 对比测试报告

用户头像
DolphinDB
2020-12-10

2019年1月,我们曾发布测试报告 DolphinDB与InfluxDB对比测试报告。当时的结果显示,DolphinDB的查询性能领先InfluxDB一到三个数据量级,数据导入性能领先一个数量级,数据导出性能相差不大。时隔近一年,DolphinDB与InfluxDB都做了不少功能和性能上的优化,

https://static001.geekbang.org/infoq/b6/b66ff107f1f213c8b5d5b4794e7f5c22.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

智慧公安大数据分析平台开发解决方案

用户头像
t13823115967
2020-12-05

近年来,随着数据的不断累积,大数据分析平台不单单只是强调一些概念和技术而已,它加快了各大领域之间的业务融合。

大数据总结

用户头像
周冬辉
2020-09-02

大数据总结

https://static001.geekbang.org/infoq/3b/3b9f407be74da6566b965d03d73d85f4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

初识 Druid——实时 OLAP 系统

用户头像
justskinny
2020-08-29

这篇文章介绍 Druid ——一个实时分析 OLAP 系统,内容主要分三块:Druid 的简介、主要特点还有适用场景。分享的目标是让读者了解 Druid 是什么,以后在做数据分析技术选型的时候可以快速匹配。如果有写得不对或者不清楚的地方,欢迎留言讨论。

https://static001.geekbang.org/infoq/1f/1f43b8e6627cbe85ae2a0ea62eab49ae.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 的 2 种部署模式 -2

用户头像
小知识点
2020-08-20

框架模式是传统模式,即通过客户端提交应用到正在运行的服务器上。库模式Flink不是作为服务,而是以库的形式绑定到所在容器中,常用于微服务。

https://static001.geekbang.org/infoq/26/260fddbb23bd752f08e5f01f82f59ebb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据技术发展 (二):Hadoop 技术生态圈的发展

用户头像
cristal
2020-08-19

Hadoop 是大数据领域中最重要的一门技术,我们很多人知道它是发源于 google 的"三驾马车",实际上真的是这样的吗?这篇文章一探 Hadoop 技术的起源。

https://static001.geekbang.org/infoq/c4/c4034e1236b91f9c83daf84a45863228.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据技术发展 (一):大数据技术的起源

用户头像
cristal
2020-08-18

我们知道大数据技术是时下应用非常广泛的技术,也是未来的趋势,但是你知道大数据技术的起源吗?本文带你一探大数据技术的起源

大数据技术_大数据技术技术文章_InfoQ写作社区