Alluxio_Alluxio技术文章

Alluxio

0 人感兴趣 · 31 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/27/275fc7373b6fc50738eb2c7eb31d8752.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ChatGPT：“Hello Alluxio，我为你写了一首诗！”

Alluxio

02-13

新晋“网红”ChatGPT爆火网络，大家都很好奇ChatGPT究竟是什么？但让小编更好奇的是：它眼中的Alluxio是怎样的？

presto 分布式，Alluxio 大数据开源 ChatGPT

https://static001.geekbang.org/infoq/62/62ea233c51eaeaea47bbc5583237f62d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Alluxio 2022 技术干货年终大赏

Alluxio

01-14

2022，我们积累了很多应用案例，邀请了很多嘉宾参与了我们的社区直播活动

大数据分布式案例 Alluxio 数据编排

https://static001.geekbang.org/infoq/21/2104421ed0f65eea497ad38758e0ed19.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从“少林寺”毕业后，我当上了开源社区“区长”

Alluxio

01-04

本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历，以及对未来十年数据编排发展的展望，和对开发贡献者的一些建议。

采访开源社区分布式，Alluxio 大数据开源

https://static001.geekbang.org/infoq/a9/a90e823337e9d0aa4a3247a74e65c533.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何用 Alluxio 加速云上深度学习训练？

Alluxio

2022-12-29

欢迎来到【微直播间】，2min纵览大咖观点

机器学习分布式，Alluxio 大数据开源数据编排

https://static001.geekbang.org/infoq/62/62acd5deaa40604e7dae72870503c7f6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Alluxio 2.9 新版发布 | 重塑架构，支持大规模多租户环境

Alluxio

2022-11-21

2022年11月17日，全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.9版本，新版本立即可用。

分布式新闻 Alluxio 大数据开源数据编排

https://static001.geekbang.org/infoq/28/28f9135f597da9ef251b6be2331ead63.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大咖分享 | 如何构建 Alluxio 审计日志分析系统

Alluxio

2022-11-10

大数据技术日新月异，数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化，究其根本依然是如何能够将数据规整起来，以统一的规范对数据的脉络进行梳理，形成统一的视图、统一的标准，实现业务层面的数据治理目标。

分布式 Alluxio 大数据开源数据编排审计日志

https://static001.geekbang.org/infoq/97/971f013247bca85f43be6463f6ef365d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

一站式全覆盖数据 I/O 平台 - Alluxio 与 Aunalytics 的完美结合

Alluxio

2022-10-26

Presto是开源分布式SQL查询引擎，可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源，允许跨源查询。（详见参考[1] ）

分布式 presto Alluxio 大数据开源 #开源

https://static001.geekbang.org/infoq/23/23dfbeafff81db7ac2fa1c1d17fbbe7c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Alluxio 与北京大学计算机学院签署合作框架协议，推动产学研深度融合

Alluxio

2022-09-30

Alluxio与北京大学计算机学院达成合作框架协议，双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作，并将成立“云原生数据编排服务系统联合实验室”。

开源云原生产学研用 Alluxio 北京大学

https://static001.geekbang.org/infoq/93/93f7ee3ed7fa5554840e7bb25d0c10d4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

帮助 Meta 解决 Presto 中的数据孤岛问题

Alluxio

2022-09-27

Raptor 是用来支持Meta（以前的Facebook）中的一些关键交互式查询工作负载的Presto连接器（presto-raptor）。

sql 开源 presto Alluxio meta

https://static001.geekbang.org/infoq/88/88ce56c8426f250dec24cd7c63bda3ab.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Meta 公司内部项目 -RaptorX：将 Presto 性能提升 10 倍

Alluxio

2022-09-13

RaptorX是Meta（前“Facebook公司”，下文统称“Meta”）公司的一个内部项目名称，目的是为了降低查询延迟，让Presto的查询性能大大超越原生（vanilla） Presto，这篇文章介绍了RaptorX的关键模块——分层缓存。

presto Alluxio #Facebook meta 9月月更

https://static001.geekbang.org/infoq/01/01b8a3829bba8c39a548f0c7f31e6454.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

【联通】数据编排技术在联通的应用

Alluxio

2022-09-13

欢迎来到【微直播间】，2min纵览大咖观点，本期分享的题目是数据编排技术在联通的应用。

中国联通 Alluxio 大数据开源数据编排 9月月更

https://static001.geekbang.org/infoq/9f/9fa6ed315d6f0c5f53b9c0099cc9424d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Alluxio 入选英特尔 AI 百佳创新激励计划

Alluxio

2022-09-02

Alluxio凭借在AI模型训练优化方面高效的数据平台架构，成为17家AI智慧创新型入选企业之一

人工智能创新英特尔 Alluxio 9月月更

https://static001.geekbang.org/infoq/82/82d5f41442cf7cc173c1391e0d5742ed.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据编排的音乐解法

Alluxio

2022-08-26

你了解什么是数据编排吗？

科普 Alluxio 数据编排 8月月更

https://static001.geekbang.org/infoq/e3/e3df86c86569d1d890157dc37a415f33.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

InfoWorld 文章丨将数据编排技术用于 AI 模型训练

Alluxio

2022-08-25

当进行AI模型训练时，我们需要高效的数据平台架构来快速生成分析结果，而模型训练在很大程度上依赖于大型数据集。执行所有模型训练的第一步都是将训练数据从存储输送到计算引擎的集群，而数据工作流的效率会大大影响模型训练的效率。

人工智能机器学习数据平台 Alluxio 8月月更

https://static001.geekbang.org/infoq/0c/0c0dd25a72c7876b1cb156e8b4d52d93.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Shuttle + Alluxio 加速内存 Shuffle 起飞

Alluxio

2022-08-25

Shuttle是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service，文章中详细介绍了Shuttle的架构和设计理念。

开源 OPPO Alluxio spark SQL 8月月更

https://static001.geekbang.org/infoq/58/58df9336d6282796215d1327ca9bf924.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

B 站基于 Iceberg+Alluxio 助力湖仓一体项目落地实践

Alluxio

2022-08-24

本期分享的题目是B站基于Iceberg + Alluxio 助力湖仓一体项目落地实践，内容包含诸多技术细节

B站 iceberg Alluxio 湖仓一体 8月月更

https://static001.geekbang.org/infoq/8e/8e09b8a41c14550f3dbd89c52624f2f5.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

金山云团队分享 | 5000 字读懂 Presto 如何与 Alluxio 搭配

Alluxio

2022-08-23

金山云-企业云团队（赵侃、李金辉）在交互查询场景下对Presto与Alluxio相结合进行了一系列测试，并总结了一些Presto搭配Alluxio使用的建议。

金山云 presto Alluxio 大数据开源 8月月更

https://static001.geekbang.org/infoq/02/0295961d5b3a4fb4c5a773fe4da93158.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache 顶级项目 Ranger 和 Alluxio 的最佳实践（附教程）

Alluxio

2022-08-23

作者简介：Greg Palmer（Alluxio首席解决方案工程师）

Ranger Alluxio Apache 分布式大数据开源 8月月更

https://static001.geekbang.org/infoq/03/032783a0d60a0b356ae32470ded8ec97.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

当内卷风波及代码领域，看 Alluxio 将会采取怎样的块分配策略

Alluxio

2022-08-19

本文作者本期分享主题：《Alluxio块分配策略详解》

腾讯存储 Alluxio block 8月月更

https://static001.geekbang.org/infoq/55/553ca5b68a566967fee0f60437fa6960.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Meta 项目功能测试 | 开启 PrestoDB 和 Aria 扫描优化

Alluxio

2022-08-19

PrestoDB的Aria项目曾于2020年发布过一组实验性功能，用来提高对表（通过Hive连接器连接并以ORC格式存储数据）的扫描性能。

hive presto Alluxio 大数据开源 8月月更

https://static001.geekbang.org/infoq/ee/eed89c2873109b86cc4d7efd7406885c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务

Alluxio

2022-08-19

本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台，如何为游戏产业提供即时响应的在线服务。

游戏 AWS presto Alluxio 8月月更

https://static001.geekbang.org/infoq/d7/d77d7301adb49038dc14245bf1b8c645.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

2min 速览：从设计、实现和优化角度浅谈 Alluxio 元数据同步

Alluxio

2022-08-18

本期分享的题目是Alluxio元数据和数据的同步，从设计实现和优化的角度进行讨论

元数据数据同步 Alluxio 大数据开源 8月月更

https://static001.geekbang.org/infoq/c1/c1db716f32888f4e47eaf43919e94ee6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Alluxio 为 Presto 赋能跨云的自助服务能力

Alluxio

2022-07-29

本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。

数据架构 presto 跨云 Alluxio

https://static001.geekbang.org/infoq/03/03eae006f780e5d953f10134bbb4c9ad.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

6W+ 字记录实验全过程 | 探索 Alluxio 经济化数据存储策略

Alluxio

2022-07-20

随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。

数据湖数据膨胀降本增效 Alluxio 大数据开源

https://static001.geekbang.org/infoq/3b/3b32c5719a3d9da6ff242d04f306dc42.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

腾讯大咖分享 | 腾讯 Alluxio(DOP) 在金融场景的落地与优化实践

Alluxio

2022-07-15

近期，腾讯 Alluxio 团队与 CDG 金融数据团队、TEG supersql 团队、konajdk 团队进行通力协作，解决了金融场景落地腾讯 Alluxio(DOP=Data Orchestration Platform 数据编排平台) 过程中遇到的各种问题，最终达到了性能和稳定性都大幅提升的效果。

腾讯 OLAP 金融 Alluxio 大数据开源