openLooKeng v1.4.1 上线，OmniData Connector 来了

前言

前不久，在 Hadoop、openLooKeng 联合发起的 Apache Hadoop Meetup 2021 上，社区 PMC 主席 Ken Zhang 分享了主题：openLooKeng and the technical trend of big data（点此回顾），其中 OmniRuntime 受到不少朋友的关注。11 月 12 日，openLooKeng v1.4.1 正式上线。除了对旧版本进行一些优化外，v1.4.1 版本还引入了 OmniData Connector。作为 OmniRuntime 的组件之一，OmniData 有什么作用？小助手将为大家娓娓道来。

关于 OmniData

OmniData 算子下推特性，适用于大数据存算分离场景或大规模融合部署场景。当大量计算节点从存储节点读取数据时，大量原始数据从存储节点通过网络传输到计算节点进行处理，有效数据占比低，极大浪费网络带宽。OmniData 旨在减少数据存储层和计算层之间的数据传输。

此外，OmniData 算子下推特性将计算侧的 Filter、Aggregation、Limit 算子下推到存储节点执行，实现近数据计算，并利用多样算力缓解计算侧 CPU 的压力。OmniData 服务将算子处理结果通过网络传输到计算节点，从而减少无效数据在网络上的传输，有效提升大数据计算性能。

OmniData 适用范围

1. 支持 openLooKeng v1.4.0 和 Spark 3.0.0，提供对应的引擎侧 OmniData 插件。

2. 支持算子下推到 HDFS，支持 S3 的存储访问接口。

3. 支持数据格式包括：TXT、ORC、Parquet。

4. TaiShan 服务器，支持鲲鹏处理器的体系架构。

OmniData 在大数据存算分离场景或大规模融合场景的适用性，极大符合 openLooKeng 的愿景：让大数据更简单。OmniData 特性的引入，将进一步提升 openLooKeng 引擎性能。

OmniData Connector 更多详情请参考：

https://openlookeng.io/docs/docs/connector/omnidata.html

OmniData 更多详情请参考：

https://www.hikunpeng.com/zh/developer/boostkit/big-data?accelerated=3

openLooKeng v1.4.1 其他优化

ARM 架构下支持 JDK8

消除因 JDK 卡顿问题导致 ARM 架构下对 java 版本的强制要求，支持 ARM 架构下使用 jdk1.8.262 及以上版本。

欢迎下载并使用 openLooKeng 新版本: https://openlookeng.io/zh-cn/download.html

如果您有任何体验感受与建议，欢迎在 openLooKeng 代码仓上提 Issue，或发邮件至 users@openlookeng.io 告知我们。您的声音或将成为 openLooKeng 引擎性能提升的关键。

openLooKeng 代码仓地址: https://gitee.com/openlookeng

openLooKeng, Make Big Data Simplified