IDP 深度 | 企业到底需要何种数据分析挖掘工具？

随着大数据技术的发展，商业智能(BI, Business Intelligence)和大数据技术之间的边界逐渐模糊。许多 BI 工具在提供行业定制应用方案时也开始融入大数据和 AI 技术。这也给很多企业在选择数据分析工具时带来了困扰——BI 工具与 IDP 这类灵活的数据分析挖掘及 AI 开发工具是否可以相互替代？

实际情况恰恰相反，这两类工具不仅不是非此即彼的关系，反而可以共荣共生，实现能力的相互补充。

BI 工具的核心优势在于通过点击探索和仪表板，实现自助式的分析，AI 技术的应用核心也是服务于“自助”性能的优化。而 IDP 则是专为数据科学家和算法工程师打造，用于进行更深度的数据探索和建模，这些事情是 BI 工具是无法完成的。构建新的数据分析项目时，利用 BI 工具需要花费大量的时间和资金成本在数据 ETL（将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程）和数据模型的构建上，而利用 IDP 构建新的分析模型，可大大提升效率。

什么是 BI?

BI，即商业智能(Business Intelligence) ，是一个相当宽泛的术语，理论上包含任何驱动更好业务成果的数据使用形式。Gartner 将其定义为“An umbrella term that includes the applications, infrastructure and tools, and best practices that enable access to and analysis of information to improve and optimize decisions and performance.”

在实践中，BI 通常指的是进行数据分析的点击式工具，如 Tableau、PowerBI、帆软 FineBI、思迈特 SmartBI 等。这些 BI 工具构建在数据库之上，使用者无需编写代码即可自助获取简单的数据洞察。

BI 的全部价值在于让使用者——尤其是不具备编程能力的非技术用户——了解组织和业务的日常运行情况。在研究 BI 工具时，我们最常看到的产品定位关键信息便是“自助服务”和“满足所有人的数据分析需求”，例如：

• Tableau: “Tableau 凭借人人可用的直观可视化分析，打破了商业智能行业的原有格局”

• PowerBI: “使用面向所有人的商业智能创造数据驱动型文化。借助最新的分析方法，使组织中的各级员工都可以做出有把握的决定。”

• 帆软 FineBI：新一代自助大数据分析的 BI 工具。每个人都能利用 FineBI 来分析数据并改善业务。

• 思迈特 SmartBI:满足所有用户的各种数据分析应用需求，如复杂报表、数据可视化、自助探索分析、应用分享等。

自助式数据洞察能力是数据驱动型组织的重要组成部分，可极大减轻数据科学和数据工程团队的压力。在没有 BI 工具时，数据科学和数据工程团队需处理大量“简单”的业务洞察需求，这些看似“简单”的需求，实际上需要耗费大量时间来准确理解业务需求、明确范围、创建业务/数据分析，在交付后仍需要划拨部分精力来处理不可避免的迭代优化。而采用 BI 工具后，业务人员可以自行完成大部分工作，仅在遇到问题或困难时与数据科学团队联系。如此，数据科学团队可以更加专注于算法的开发和数据价值的深度挖掘。

AI 技术赋能的 BI 与 AI 开发工具类似么？

随着 AI 技术加持成为 BI 工具发展的主要趋势，也由此带来的另一个需要澄清的问题：AI 赋能的 BI 是什么？

AI 赋能的 BI，仍然是 BI 工具。AI 技术应用的核心目的，是让 BI 与使用者的交互更加简单，内置数据模型更加精确，进一步降低 BI 的使用门槛、提升易用性。虽然与 AI 技术相融合，但这类 BI 工具仍然不具备灵活的数据探索、AI 开发和深度数据分析功能。

已有 BI 工具，为什么企业仍然需 IDP?

总结而言，主要有两大原因：IDP 可提供更加深度和高效的数据分析。

• 分析深度方面，BI 工具非常适合更简单的数据分析，但通常难以满足复杂分析场景和专业数据科学从业者的需求。IDP 提供的分析深度和强度远远超出了 BI 工具所能提供的范围。

• 运营效率方面，BI 工具的应用需要大量业务、流程梳理和工具部署工作。即使已经部署，想使用新的数据集时仍需复杂的 ETL 工作。而运用 IDP，数据科学家可直接进行分析探索，无需耗费大量时间进行前期准备和工具部署，更加高效便捷。

1. 分析深度和强度

在企业的数据分析中，有大量重要的工作 BI 工具无法胜任，如预测建模、复杂的统计分析、地理空间分析、非结构化数据处理、机器学习等。BI 能提供的服务仅是数据分析工作的冰山一角。对于冰山之下的庞大而复杂的数据分析任务，采用 BI 工具所带来的的不仅仅是效率低下的问题，更准确来说，是 BI 工具根本无法承担此类工作，因为 BI 工具并不是为冰山之下的数据分析工作而设计的，而刚起步的数据团队可能不会注意到 BI 工具的这一局限性。

随着数据团队越来越多地涉足复杂的数据分析项目，数据科学家们将不得不扩展到使用 Python 等语言和交互式编程环境(Notebook)、SQL IDE 等工具。在这一阶段，BI 工具旨在消除的数据和协作混乱问题将再次浮现：数据科学家通常在本地环境中进行数据分析，团队内部和团队之间来回通过电子邮件发送 csv 文件，没有人知道应该使用哪个最终版本指导业务决策。

深度数据分析和跨团队协作，正是 IDP 的用武之地。数据科学家和算法工程师利用 IDP 可以高效进行算法开发，进行深度数据分析，并可以便捷地将结果分享给所有相关人员。IDP 的定位不是为了替代 BI 工具，而是服务专业算法团队进行深度数据挖掘，促进跨团队协作分析，提升企业数据分析效率的同时，避免邮件传输等方式带来的数据和版本混乱问题。

2. 分析效率和速度

强大的数据“驾驶舱”是 BI 工具的核心优势，但同时也是它最大的弱点。业务人员之所以可以与数据进行简单、直接、便捷的分析交互，是因为投入了大量时间和人力进行 BI 工具的需求调研、设计、部署和持续的运营优化，以便业务人员能够上手即用。

通常，BI 工具部署前期需进行充分的业务梳理和流程优化，理解业务对数据的需求，构建数据分析的指标体系，明确其对包括报表展示、指标展示、交付形式等在内的报表开发需求。

部署过程中中，核心步骤是 ETL 的开发，即将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。这一环节决定了数据分析结果的准确性，并最终将影响业务决策。通常情况下，在 BI 的部署实施中，ETL 通常会花掉整个项目 1/3 左右的时间。如果通过 ETL 接入的数据集最终被使用的频率低、场景少，这些准备工作所花费的时间也便付诸东流。

而 IDP 部署简单、灵活，无需大规模的前期投入，可极大提升算法和数据团队的效率与生产力，主要体现在：

• IDP 广泛对接兼容各类结构化、非结构化数据等，用户可以在同一个 notebook 中便捷使用来自数据库、文件等的数据源，打破组织和技术壁垒的束缚进行数据探索和分析

• IDP 可同时满足数据科学家、算法工程师以及业务分析师的分析需求，在 IDP 中用户可以无缝切换 Python、SQL 和数据可视化图表，选择正确的工具完成相应的工作，无需额外寻找差强人意的替代工具

• 在提供数据分析灵活性和效率的同时，IDP 保障分析工作的版本受控和协作共享，算法团队与业务团队可以共享数据集和 notebook 内容，实现高效的协作分析

此外，IDP 可以对 BI 工具进行兼容和能力补充。如果 IDP 中的分析探索显示，某些数据极具价值，是企业核心数据字典的有力补充，则可将其融入 BI 工具中。反之，如果 IDP 中的深度分析探索结果不理想，或者该探索分析只是为单次决策分析服务而无需形成固化的自主服务模型，也不会造成额外的投入和效率损失，更不会欠下技术债。

 总结 

BI 和 IDP 这类灵活的算法开发和数据分析工具并不是非此即彼的替代关系，而是相互协作与补充，共同帮助企业构建强大的数据洞察能力。

对于已有 BI 工具的企业，如果 BI 工具无法解决的深度数据分析需求日益凸显，不如来体验一下 IDP 吧， 一站式解决 AI 开发、深度数据挖掘等问题。

而对于还没有 BI 工具但正在向“数据驱动”转型的企业，IDP 可以加速转型创新，在等待 BI 工具部署完成的过程中，帮助您更快速、便捷地获取数据驱动的决策洞察。

【参考资料】

1. 甲子光年，大数据时代的商业智能，2020

2. Izzy Miller, BI Tools & Hex: Why advanced data teams need both BI tools and flexible data workspaces. 2021

了解 IDP: https://baihai.co/

申请试用：https://www.baihai.co/invitation.html

关注 IDP: 公众号 Baihai IDP