数据智能：加速企业数字化转型

一、国内数字经济发展现状

2020 年 4 月，中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》提出，数据作为新的生产要素，与土地、劳动力、资本、技术并称为五种要素，数据要素市场化配置上升为国家战略。人类进入了一个以数字化为表征的新时代。据国家互联网信息办公室发布的《数字中国发展报告（2022 年）》显示，2022 年我国数字经济规模达 50.2 万亿元，总量稳居世界第二，同比名义增长 10.3%，占国内生产总值比重提升至 41.5%，数字经济已经成为国民经济高质量发展的重要支撑力量。

中国经济经历连续高速增长后，进入中速平台及高质量驱动的阶段。面对产业结构调整、资源环境挑战、企业再增长困境，数字技术的发展及创新带来行业颠覆，也为企业带来新的机遇，数字化转型成为企业发展的新动力。值此新形势下，企业竞争力主要来自数字技术的应用和数据的价值挖掘。随着数字技术的发展，尤其是以生成式 AI 为代表的 AI 2.0 时代，企业数字化转型步伐将加速迈进，数据智能将促进企业组织管理、商业模式、生产经营等方面的加速变革。

软通动力作为数字化转型的实践者和赋能者，始终坚持以咨询与解决方案、全栈式数字技术服务给客户创造价值，经过多年探索，已将 AI 技术应用到企业数字化转型的智能管理、财务管理、智能制造等多种业务场景。在 AIGC 浪潮中，可通过自身对行业的理解与领域数据的积累，结合通用基础大模型厂商的能力，赋能客户数智化转型，构建面向行业的智能应用。

二、数据智能的定义及发展

数据智能是指通过数据分析和挖掘技术，将数据转化为有价值的信息，并在企业决策和业务流程中加以应用的能力。随着数据技术的不断发展，数据智能的概念也在不断地演变，数据智能基于大数据引擎，通过大规模机器学习和深度学习等技术，对海量数据进行处理、分析和挖掘，提取数据中所包含的有价值的信息和知识，使数据具有“智能”，并通过建立模型寻求现有问题的解决方案以及实现预测等。

通过数据智能的应用，我们可以更好地洞察市场和客户需求，提高企业的效率和竞争力。同时，数据智能也将会为政府提供更好的治理和公共服务，促进社会的发展和进步。随着科技的不断进步和人工智能技术的不断发展，数据智能将会成为我们更加智慧的生活和商业模式的基石。

数据智能的核心是基于数据的决策推导，它不仅使机器具备推理和认知能力，而且还使大数据变得更具指导性。数据智能不仅能够推动业务数据化进程，而且可以进一步促进业务智能化，通过运用数据来改变和优化业务流程和决策。

数据智能的发展经历了从数据收集、存储、处理到分析、挖掘、应用的全过程，已经成为现代企业进行数字化转型和商业变革的重要手段：

(一) 数据收集：利用多个数据库或存储系统来接收发自客户端（Web、App 或者传感器形式等）的数据。

• 数据库收集

传统企业通常使用关系型数据库，如 MySQL 和 Oracle 等来存储数据。然而，随着大数据时代的到来，NoSQL 数据库，如 Redis、MongoDB 和 HBase，也被用于数据的采集。为了更好的完成大量数据的采集工作，企业往往会在采集端部署多个数据库，并对这些数据库进行负载均衡和分片进行优化。系统日志收集。

用于收集公司业务平台产生的大量日志数据，以供离线和在线的大数据分析系统使用。为了确保系统能够高可用、高可靠并可扩展，日志收集工具采用分布式架构。这种架构能够满足每秒数百 MB 的日志数据采集和传输需求。

• 网络数据采集

网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息的过程。网络爬虫会从一个或若干初始网页的 URL 开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的 URL 放入队列，直到满足设置的停止条件为止。

• 感知设备数据采集

感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。大数据智能感知系统需要实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。其关键技术包括针对大数据源的智能识别、感知、适配、传输、接入等。

（二）存储阶段： 企业已经开始认知到数据价值，金融、电信、公安等行业开始建设大数据平台，收集并存储企业业务产生的数据。

•  分布式存储满足海量数据存储需求

分布式存储架构通过横向扩展，将多个分散的存储资源整合成一台虚拟存储设备。采用多副本模式，具有高可用性和大容量存储等优势。数据集根据范围、哈希或轮询等分区原则存储到不同路径，以实现更高效的存储和检索。

•  云端存储打破数据存储及访问壁垒

云存储通过存储虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供在线数据存储服务。

•  非关系型管理模式提升数据存储效率

非关系型数据库管理系统（NoSQL 数据库）可以高效地处理结构化和非结构化数据，同时具有良好的可扩展性和可靠性。与关系型数据库不同，NoSQL 数据库采用简单的数据模型和查询语言，能够满足用户对于大数据管理的新需求。相对于关系型数据库，NoSQL 数据库的数据一致性实时性和完整性约束要求较为宽松。MongoDb、HBase、Cassandra、ACCUMULO、Neo4J 等是常见的 NoSQL 数据库，它们在不同场景下发挥着重要的作用

•  技术多样化发展满足应用需求扩展

存储和管理技术的发展因大数据类型的多样性变得更有针对性。数据访问接口方面，可划分为块、文件和对象存储；数据结构方面，有文档数据库、列数据库、键值数据库、图数据库等；而数据时序方面，则有历史数据库 Altibase、实时数据库 ClustrixDB、流式数据库 NuoDB 和时间戳数据库 Spanner 等。

（三）数据处理和分析阶段：主要关注如何处理和分析数据。在此阶段，数据主要是以数据挖掘和机器学习技术为主，以帮助企业发现数据中隐藏的信息。

•  数据接入

平台数据接入包含关系型数据库输入、MPP 数据库输入、大数据分析引擎输入、文件上传、数据同步等不同输入节点，支持不同类型数据的快速导入，为挖掘分析与模型训练提供基础数据源。

•  数据处理

提供多种数据预处理方法及数据的高级转换操作，包括但不限于数据标准化、RFM 分析、因子分析、角色定义等，实现数据清理、集成、变换、消缺、归约等预处理操作，为挖掘分析做好数据准备。

•  特征工程

构建一个高效精准的机器学习模型有很大一部分因素取决于特征向量的选择与提取，构造好的特征向量，是要选择合适的、表达能力强的特征。

• 算法选择

基于业务问题剖析、数据基础探索与特征工程处理后，算法类型的确定与具体算法的选择将成为搭建分析模型的关键。提供丰富的分析挖掘算法库，包括分类、聚类、回归、关联分析、时间序列、综合评价及文本挖掘等多类别上百种机器学习算法，并支持集成学习、深度学习等框架与应用模型搭建，全面实现复杂场景下各业务数据的分析与建模诉求。

•  模型训练

对于模型训练而言，样本选择至关重要。为保证模型准确率，样本需要具有多样性、尽可能地大以及高质量等特征。提供模型迭代训练过程的可视化洞察功能，全面透明地管理和监控模型训练过程，以帮助数据分析人员构建高性能、高精度的挖掘模型。

• 评估评测

为了达到精度准确、性能良好的机器学习模型，必须遵循 CRISP-DM 流程进行反复迭代、优化与评测验证，不断根据数据变化及业务决策使用要求调整优化模型。

• 模型洞察

模型洞察的作用是全方位观察分析建模过程及模型运算的结果，通过洞察能够为改进数据分析挖掘流程和模型调优提供支撑，从而提升模型有效性和精度。

• 模型部署

模型部署的关键在于将经过设计和验证的模型与调用流程成功应用于生产环境中。为此，需要发布经过验证的挖掘流程，并通过可靠的调度任务或接口服务等方式将流程与生产环境无缝连接，以形成高效的决策应用系统，为实际业务开展提供可靠的指导。

（四）数据应用和交互阶段：主要关注如何让数据更好地为企业服务。在此阶段，数据主要是以可视化和交互式应用程序为主，以帮助企业更好地理解数据并做出更明智的决策。

• 并行可视化

任务并行、流水线并行和数据并行。任务并行是将可视化过程划分为独立的子任务，在运行这些子任务时不存在数据依赖关系。流水线并行则采用流式读取数据分片的方式，将可视化过程划分为多个阶段，计算机可以并行执行各个阶段来加速处理过程。数据并行则是采用“单程序多数据”的方式，将数据划分为多个子集，然后以这些子集为粒度并行执行相同的程序来处理不同的数据子集。

• 原位可视化

原位可视化是一种在数值模拟过程中生成可视化以缓解输出瓶颈的方法。根据输出数据的不同，可以将原位可视化分为四种类型：图像、分布、压缩和特征。对于输出为图像的数据，原位可视化将数据映射为图像并在过程中保存。对于输出为分布数据的情况，原位可视化会根据使用者定义的统计指标计算相应的统计数据，并在过程中保存以进行后续可视化处理。对于输出为压缩数据的情况，原位可视化会采用压缩算法来降低输出数据规模，并将压缩数据作为后续可视化处理的输入。对于输出为特征数据的情况，原位可视化则会采用特征提取方法，在数值模拟过程中提取特征并保存，以作为后续可视化处理的输入。

• 时序数据可视化

时序数据可视化是帮助人类通过视觉展现数据的走向和演变，包括建立预测模型、进行预测性分析和用户行为分析等。常见的可视化图形包括面积图、气泡图、蜡烛图、甘特图、热图、直方图、折线图、南丁格尔玫瑰图、OHLC 图、螺旋图、堆叠式面积图和量化波形图等。这些图形各有特点，适用于不同的数据分析场景，可以更直观地展示数据走向，为数据分析和决策提供重要的参考。

（五）数据智能和自动化阶段：主要关注如何将数据存储智能化和自动化技术应用于各个方面的企业运营。在此阶段，数据主要是以人工智能和自然语言处理技术为主，以帮助企业更快地做出决策并提高效率。

•  存储、管理和应用等功能由分离向深入融合转变，实现数据智能化处理

数据管理正在向存储层面下移，内存数据库的普及促使架构模型从“应用+缓存+持久存储”转变为“应用+内存数据库”。数据安全保护、备份、压缩、修复以及分析功能与存储相融合，形成云边协同的新型数据管理架构，如 IBM 的数据编织，可自动汇集多数据源并提供统一、可信、全面的业务数据视图，降低数字化障碍。该架构成为混合云解决方案的基础。

• 存储模式向分层和内存存储转变，数据更贴近计算区域使得响应更及时

通过将数据“冷、温、热”分层，达到 CPU、内存、磁盘之间的容量和性能平衡，把频繁访问的数据向上移动靠近内存、不经常访问的数据向下移动靠近硬盘以及未来更高访问速度的存储介质。

三、数据智能在企业数字化转型中的作用

企业数字化转型的目标是从传统的线性、独立和重复的业务模式转变为更加灵活、融合和创新的数字化业务模式。数据智能在企业数字化转型中扮演着重要的角色，具有以下几个方面的作用：

1. 提高决策质量

数据智能可以帮助企业更好地了解市场和客户，发现机会和趋势，从而制定更加精准、有效的决策。通过数据分析，企业可以及时发现业务问题和症结，并提出相应的解决方案和改进措施。另外，数据智能的决策过程由算法完成，保证了理性稳定的决策产出，减少不确定性带来的风险和损失，从而提高决策质量和效率。

2. 提高业务效率

通过数据智能，打通数据价值链上的各个环节，企业可以对业务流程进行优化，从而提高业务效率和质量，更加科学合理的配置资源。例如，通过对供应链的数据分析和自动化流程，企业可以优化供应链管理，将重复性工作和标准化决策进行自动化；通过智能预警模型，提前发现业务异常和风险，及时采取措施以避免损失。

3. 改善客户体验

通过数据分析和算法模型，数据智能可以帮助企业更加全面地了解客户需求和偏好，优化产品设计和服务流程，改善客户体验。例如，为客户提供个性化服务，包括产品推荐、客户服务定制等；及时反馈客户服务和营销策略的效果，以实现持续优化和改进；发现潜在流失客户，采取挽回措施以提高客户留存等。

4. 推动创新

数据智能可以帮助企业发现市场机会和创新点，推动企业进行创新研发和业务模式的转变。通过对市场和竞争数据的分析，企业可以了解新技术和新产品的趋势和机会，从而开展创新研发，提高企业竞争力和盈利能力。

四、数据智能的应用场景

数据智能的应用场景非常广泛，以下列举了几个典型的应用场景：

1.产品设计

分析性能和使用体验的提升是产品设计的两大主要方向。在产品性能方面，商业数据智能赋能决策的“深度”和“密度”将进一步提升——前者体现为人工智能更深度融入商业数据智能产品，为企业提供更具备前瞻性、指导性、准确度的意见，后者体现为实时计算能力的提升，缩短企业的获取决策信息的滞后期间，提高智能决策的频率。在产品体验方面，融合低代码提升开发侧效能，借助自动化工具和 AI 进一步降低使用侧门槛。在开发侧，低代码工具与商业数据智能功能有着天然契合，前者帮助企业自主定制数据表单、打通数据流，为后者提供数据源和基础分析能力；在使用侧，数据智能应用的交互方式将持续朝着软件操作和信息读取两个环节的便捷化方向发展，对使用者的 IT 技术、数据能力的要求都将不断下降，并将这部分技能内化为软件自身的功能，使商业数据智能应用的使用门槛进一步降低，惠及更多的行业和企业。

2.产品交付

通过标准化、模块化、灵活的产品体系降低交付周期和成本。以中大型客户为核心是国内数字化市场绝大多数赛道和企业的共识，但是在服务中大客户的时候，企业往往需要面对客户系统架构复杂、需求多、定制化内容多等问题，当前国内数字化供应商的主要业务模式是在交付环节逐一应对客户的需求，这导致了客户侧无法迅速上线、后续自主研发空间狭小，以及供应商成本高企、产品可复用度低的问题，要实现数字化产品的规模经济，上述的开发和交付模式需要改变——我们用“工程化”来表达这一理念：数据智能和 AI 产品的工程化需要厂商提供一系列经反复打磨的产品和服务，在需求收集、产品设计到应用后运维等环节提供更加标准化、模块化、灵活度高的产品，在低人工投入的条件下，与客户协同进行商业数据智能产品的部署，加快应用上线流程乃至整个数字化转型的进度。

3. 结合“大模型”，赋能企业治理

ChatGPT 这一现象级产品的横空出世，人们真实感受到大语言模型和生成式 AI(AIGC)的巨大能量。数据智能与“大模型”的结合符合分工与提效的长期趋势。大模型（超大规模预训练模型）的开发是为了在预置阶段囊括尽可能多的潜在模型变量，从而减少模型投入使用时的二次开发以及后续更新的工作量。自 2020 年 6 月 OpenAI 发布 GPT-3 以来，全球各大 AI 服务供应商开启了大模型竞赛，目前大模型参数规模已经达到了 10 万亿量级。在此背景之下，软通动力也推出天璇 2.0 MaaS 平台，依托大模型平台能力，可以为客户提供多种交互式 AI 模型，深度适配不同 AI 应用场景，引领企业智能变革，面向央国企、教育科研、金融等多行业多领域。

五、总结：借力数据智能，开拓市场新需求

数据智能作为数字化转型的重要组成部分，对企业数字化转型具有重要的推动作用，可以帮助企业更好地了解市场、客户和业务，优化业务流程和决策，改善客户体验和提高竞争力。同时，数据智能的应用场景也非常广泛，在客户洞察、业务分析、风险管理等方面都具有广泛的应用前景。因此，企业在数字化转型过程中，必须重视数据智能的建设和应用，不断提升自身的数字化能力，以适应不断变化的市场和需求。