OLAP 数据库引擎如何选型？

“有没有一个 OLAP 引擎，能完美适配所有场景？”

“至少现在没有。”

奇点云合伙人、CTO 地雷谈到：“大数据架构中典型的 Lambda 架构，离线、实时、即席查询这些场景是分裂的，没有一个完美的 OLAP 数据库引擎能全面适应所有场景。这就意味着我们需要根据企业的实际场景进行选型。”

OLAP（Online Analytical Processing，联机分析处理）主要应用于大规模数据分析及统计计算。无论企业处于数字化转型的哪个阶段，只要有积累数据并进行分析的需求，就必然会面临 OLAP 数据库引擎的选型问题。

速度？吞吐？成本？众多选择之间，考察个别指标显然不是明智之举。

举个例子，如果选择开源数据库，服务费及 License 费用能得以免除，同时也必须接受配套能力可能存在缺陷、对运维团队能力要求高等情况；如果重点考察某个 SQL 在特定 table 的执行速度，也要做好数据吞吐量有限、可能每周都会系统故障的预期。

“但这也并不意味着非要找个‘多边形全能战士’。”地雷补充道，“我们推荐企业关注自己最主要的 3~5 个业务场景，了解对应的数据量、数据类型等维度，对自身的运维团队有认知，再有针对性地做选型。”

如何保证选型测评足够客观真实？

要选出真正适合企业自身的 OLAP 数据库引擎，至少应保证满足以下三个层面：

1、业务相关性：测试业务场景要与企业的实际业务场景类似，评测结果才能真正有效辅助决策者，做出对业务有用的选择。

2、指标多维性与场景关联性：不同业务场景关注的指标通常不同，需要根据实际业务场景针对性选择合适的度量指标。

3、测试数据真实性：真实的环境中，数据通常有瑕疵，而构造的数据集比较规则，评测出的结果也会相较实际情况更高。因此在数据构造阶段需要充分理解客户场景，并尽可能模拟出贴近真实应用场景的数据来进行测评。

过去 6 年间，奇点云支撑数百家客户，完成了数据云平台（及数据平台、数据中台）的建设，也曾协助许多客户完成 OLAP 数据库引擎选型，沉淀出行业的典型场景和丰富经验。

地雷介绍：“作为独立第三方的数据科技服务商，我们的数据存算引擎 DataKun 支持非常多类型的大数据存算工具，来支撑客户实现‘自主可控’。进一步，我们也有义务对 OLAP 数据库引擎做系统化的、全面客观的评测，把我们的方法论和评测结果分享给大家，为更多客户提供参考。”

数据存算引擎DataKun产品架构图

因此，奇点云从 11 个维度对主流的 6 大 OLAP 数据库引擎进行了全面测评，并将结果呈现在了《OLAP 数据库引擎选型白皮书》中。

细项评分表 文末下载白皮书查收大图

结合评测结果，本文将简要剧透批处理、流计算和即席查询 3 类场景的理想选型。

批处理场景？

人群计算、产出标签、产出报表等都是常见的批处理场景。这些场景对时效性要求不高，但需要处理的数据量极大。

以产出标签为例，运营打标面对着百万级用户量，每个用户上又承载了数百个标签。产出标签后，运营需要通过消费者运营平台完成人群洞察与报表产出，这就对数据的吞吐量有着很高要求。

批处理场景下理想的 OLAP 数据库引擎应该在“TP 查询性能”、“数据批量同步速率”拿下高分，并在“全表 scan 性能”上表现不俗。

流计算场景？

场景如其名，流计算场景关注瞬时流量带宽及最长延时的底线，对数据返回的实时性要求高。

以注册发券为例，用户注册后，运营系统需根据用户偏好、基础信息、当前行为等立即自动推送优惠券，数据返回延时不应超过 3 秒，对行为数据快速查询计算有着高要求。

流计算场景下，首先需要考虑引擎是否能对接 Kafka 等消息队列，然后重点关注“事实表查询性能”、“宽表查询性能”。此外，“AP 计算性能”的表现也能为其加分。

即席查询场景？

生成用户画像时，运营人员需灵活选择查询条件，数据可能来自数十个记录数超过百万条的不同宽表，在上千个字段中做复杂 join，并在数秒内返回结果。这就是典型的即席查询场景。

即席查询场景下，引擎选型尤为关注“事实表查询性能”和“高并发”，其次“全表 scan 性能”、“宽表查询性能”、“数据批量同步速率”也非常重要。

三大场景下的OLAP“理想型”雷达图

6 大引擎在各场景下的最终得分？

评分标准细项构成？

泛零售企业典型选型流程？

完整评测，尽在《OLAP 数据库引擎选型白皮书》

立即扫码下载↓