Kyligence 智能数据服务与管理相关研究

智能化的数据管理与分析可以帮助企业打造数据资产，实现数字化转型。Kyligence 基于人工智能和机器学习，为用户提供自动化的数据服务与管理，我们将在 infoQ 写作平台分享相关的前沿技术、趋势以及案例，期待您的关注。

【前沿技术分享】

1. 深度解读｜Spark 中 CodeGen 与向量化技术的研究

由 Kyligence 主办的首期 Data & AI Meetup 中，畅销书《深入理解 Spark 》作者、Kyligence 高级性能工程师耿嘉安带来了主题为「Spark Code Generation & Vectorization」的分享，深入浅出地讲解了「Spark 为什么需要 CodeGen」、「Spark CodeGen 与向量化原理」、「Spark 向量化的前沿」等多个与 Spark 有关的热门话题。

2. MLSQL：融合 Spark+Ray，让企业低成本落地 Data+AI

由 Kyligence 主办的 Data & Cloud Summit 2021 行业峰会特设「开源有道」分论坛，来自 Apache Kylin，Apache Spark，Alluxio，Linkis，Ray 以及 MLSQL 等开源社区的技术大佬分享了目前开源社区关于大数据、机器学习等多个热门话题的前沿技术和最佳实践。

3. 列存数据库，不只是列式存储 

本文将从大数据存储格式的变迁；存取方式中 Early Materialization 和 Late Materialization 的权衡取舍；执行框架向优化 CPU 的方向迈进；关系算子结合存储进行优化等几个方面出发，对列存数据库进行详细讲解。

4. 复杂分析场景，SQL or MDX ？

提起 SQL，相信从事过数据分析相关工作的同学，对此都不陌生。在零售、银行、物流等行业，业务往往会有复杂的分析需求，如半累加，多对多，时间窗口分析等，SQL 在处理这些场景时，就有些捉襟见肘了。那有什么方案能够轻松应对呢 ? 答案就是： MDX。

5. 不用 Python/R ，只会 SQL 就可以做机器学习？

要想搞定机器学习，好像非学 Python 或 R 语言不可，想只用 SQL 就能搞定机器学习？当然可以！MLSQL —— 站在 SQL 的肩膀上看大数据 + AI。

6. 浅谈OLAP系统核心技术点

OLAP 系统广泛应用于 BI, Reporting, Ad-hoc, ETL 数仓分析等场景，本文主要从体系化的角度来分析 OLAP 系统的核心技术点，从业界已有的 OLAP 中萃取其共性，分为谈存储，谈计算，谈优化器，谈趋势 4 个部分展开讨论。

7. 大数据+云：Kylin/Spark/Clickhouse/Hudi 的大佬们怎么看？

Kylin 五周年庆典上，来自 Spark，Hudi，Clickhouse 以及 Kylin 等开源社区的大佬，来了一场跨越时差，跨越区域的“云”上对谈。下一代云上数据分析产品的趋势都有哪些？他们都看好什么关键性技术呢？你想知道的都在本文啦！

【前沿趋势分享】

8. Gartner 报告最新解读：数仓 or 数据湖？

Gartner 近期发布了一份“分析查询加速的市场引导报告（Market Guide for Analytics Query Accelerators）”，报告中提到一个新的数据分析细分市场正在兴起，即数仓和数据湖这个模糊地带，小编特别邀请了本司产品总监带大家一同解读这篇专业报告。

9. 后 Hadoop 时代的大数据分析路在何方？

Apache Hadoop 作为一个完整的开源大数据套件，在过去的十多年里深刻影响了整个计算机界，随着各类新兴技术的发展， Hadoop 生态圈也发生了巨大的变化，Kyligence 合伙人兼首席架构师史少锋先生将从 Hadoop 的发展历程、大数据分析的未来展望等角度展开讨论。

10. 为什么预计算技术代表大数据行业的未来，一文读懂

了解 Kylin 的技术同仁，一定对预计算这个概念不陌生。业内对于预计算的价值一直褒贬不一，本文将结合作者自身十多年的工作经验，从预计算的历史、原理到企业的应用，以及未来的发展来为大家带来更为全面的解读为什么预计算技术代表大数据行业的未来。

11. 预计算 or 数据虚拟化，你pick谁？

预计算侧重于生产环境中的性能、响应时间和并发性；数据虚拟化技术则侧重于通过减少或消除 ETL（抽取、转换和加载）过程，从而方便用户进行分析，两种技术都在努力应对类似的挑战：在现代大数据环境中，让更广泛的受众轻松访问分析，如何选择，本文帮你权衡。

12. 从 Hadoop 到云原生：Kyligence 在云原生巨浪中的思考

越来越多的企业客户正在从 On-Premise 的数仓方案，转向基于云（包含公有云和私有云）的解决方案，这种趋势在美国 2B 市场已经被广泛接受，在国内 2B 市场也已方兴未艾。通过本文，可以看到数据仓库的发展方式，即正在向云原生的、存储计算分离的方向上发展。

13. 云原生时代，企业如何智能管理数据？

云原生时代，数据行业的假设已经有了根本性的改变，数据从集中走向天然分布，尽管访问数据变得比以往任何时候都容易，但分散在各处的数据给企业使用数据和管理数据带来了更多新的挑战。智能管理数据，将数据变成更有价值、更容易连接和分析的数据资产。

14. 如何快速搭建统一数据服务，让数据资源成为数据资产

在数字化转型时代，各行各业的日常工作都与数据息息相关，企业 IT 团队都在不断优化平台技术，为业务用户提供更加高效、便捷的数据使用体验。笔者和社区用户交流时，见到一类“数据微服务”的设计，和我们的设计思路非常一致，希望借此文章和各位读者交流。

15. BI + AI：洞见数据和分析的未来

近年来，Kyligence 在研究了数据领域的投资者、研究机构、从业者以及客户的观点后，看到了 5 个如从数据中心或云到分布式云、分析与 AI/ML 的大融合等的正在改变数据和分析市场的宏观趋势。

16. 通往数据分析平民化的成功之路

在以数字和数据为中心的经济中，借助分析洞察数据并据此明智决策，将推动从数据到业务资产的转化。如果平民数据分析师能从数据和分析中获取洞察，将极大缩短周期时间、节省成本并提升公司的服务能力，Kyligence 的自助分析平台，助力平民数据分析师赋能未来。

17. 如何搭建批流一体大数据分析架构？

基于 Lambda 架构升级改造后的 Kyligence 批流一体分析融合架构，不仅解决批流一体中关键部分的支持，同时结合 Kyligence 的其它优势，整套方案可更便捷地在企业落地。例如图形界面化的友好操作、支持 Hive 和 Kafka 两种数据源、无缝集成主流的 BI 平台等。

【前沿实践分享】

18. Kyligence + 亚马逊云科技丨实现云上的精细化运营和数字化指挥

Kyligence 联合创始人兼 CTO 李扬出席“亚马逊云科技 INNOVATE｜ 数据驱动创新大会”，并发表 《 Kyligence + 亚马逊云科技｜实现云上的精细化运营和数字化指挥》主题演讲，结合实际应用案例给出了 Kyligence 对于企业数字化转型过程中所面临的困境的解答。

19. 指标平台哪家强？看 Kyligence 助力平安银行打造统一指标平台

数字银行的突破，离不开前沿科技的驱动。平安银行依托人工智能、大数据、云计算等领域的核心技术，不断将新技术深度植入到经营决策和金融服务全流程，实现数字化、智能化业务运营和经营管理。对于平安银行来说，数据赋能业务的关键在于降低用户使用数据的门槛。那么如何让用户使用数据变得简单？让我们一起来看看 Kyligence 如何助力平安银行打造一站式数据服务平台——潘多拉指标平台的吧。