数字经济下的数据库发展以及应用

数字无时无刻出现在人类生活中，数字的意义不仅传递信息，更能产生价值，甚至形成产业链，对经济的发展越来越起到重要作用。数字经济用来描述数字产生经济价值的过程和结果。

数字的形式也多种多样，包含数值型、分类型等数据，除了阿拉伯数字外，主要有文字、音频、视频、图片等大量非结构化数据和半结构化数据。随着互联网的高速发展，数字的数量也越来越大，大到开发区块链等分布式存储，研发量子计算机解决极大量的数据以及交易等行为。因此数据库的重要性不言而喻。Nosql 主要应用场景：（1）适合存储非结构化数据，数据量且不可预期。如：评论，文章。（2）排行榜数据获取，实时更新的数据。如：游戏榜排名，用户投票。（3）限时抢购活动。如：淘宝抢购活动。（4）反垃圾系统。如：敏感词。（5）消息实时推送。如：微博推送。（6）缓存。如：热点数据。SQL 主要应用场景：（1）适合存储结构化数据。如：账号，地址。（2）事务性，数据一致性。如：银行。（3）复杂数据逻辑处理，需要 JOIN 关联。非关系型数据库（Nosql）应用场景对比：

随着互联网网络巨头的快速掘起，人们越发明白了数字产生的潜在的经济作用，搜集数据、分析数据、展示数据、运用数据已成为各行各业的主要管理工作。尤其是政府各机构各部门下沉的大量的数据，润涵了大量的潜在的信息，各种大中型企业下沉的数据，暗含了企业的业务运作和盈利能力规律。如何高效地开发各类数据和挖掘数据价值一直是计算机科学、统计科学的研究内容，机器学习、深度学习、强化学习、智能计算、机器人等人工智能技术越来越成为重要的甚至是关键的经济生产能力，掌握了和攻破了关键的科学技术，可以快速高效地提升经济生产力，因此，数字经济理论也越来越引起国家的重视。

数据库的目的都是为了解决数据的存储，操作问题，但不同的数据库有不同的侧重点，数据库有很多分类方式。最常见的一种分类方式是物理存储方式，如果是存储在内存中，称为内存数据库，存储在硬盘则称为数据库，还有些数据组织为组织的文件格式(xml/json 等)称为文档型数据库。第二种分类方式是按查询接口分类，早期数据库各家对查询接口实现不统一，为了方便用户国际标准组织对标准化查询接口进行了规范化，标准化查询语言(SQL)是这规范的产物，SQL 把数据库操作分为数据操作语言(DML)、数据定义语言(DDL)、数据控制语言(DCL)等几个部分，对每一部分进行了详细的规范和定义。SQL 标准化虽然很方便数据操作但也产生了一些问题，最典型的问题就是 SQL 语言是基于关系理论的查询接口，不支持非关系的底层结构，另外还有 SQL 的复杂性，相当多的用户使用的查询是很有限的一些操作，由于实现标准 SQL 的语言的存储结构限制和复杂性使得一些数据库放弃了对标准 SQL 的支持，转而使用更简单的操作接口这一部分数据便称为 NOSQL 数据库，NOSQL 基本上使用简单的命令式交互接口，较之于 SQL 一般解析和操作更快，但同时也失去了复杂操作的能力。第三种是按存储结构模型分类，最常用的是关系型数据库，kv 数据库(实质是一种松散结构化模型), 图数据库。关系型数据库使用关系模型将数据表达为数学上的关系(组织上称为表)，SQL 的操作是关系操作。通过关系理论来保证数据的完备性和约束性。数据之间的关系组织对于数据一致性和约束有着非常良好的实现。但对于从事数据开发的业务人员来说这种结构还是比较严格和复杂的，比如对于常用的树型结构组织在以表为单位的关系数据库定义相当不直观。因此有些数据库便以便于业务为重心实现基础数据结构采用一种更为松散的数据存储结构，这便是常见的 kv 数据库实现，相较于关系型数据库基于 key 用了快事检索，value 中直接存储常用的数据结构，可以很方便的和编程语言的数据结构对应，对于开发来说是方便的;但同时也由于没有理论的保证数据的一致性维护和复杂操作变得麻烦。Kv 数据库把数据松散化的存储方式仍然无法直接构建一些复杂的结构关系，比如一些图结构，而从结构上来说图结构是有能力实现一切的基础数据结构，因此为了底层存储结构的统一便产生了图数据库。图数据库采用单一的图结构作为一切结构的基础上层只要提供图操作接口，便可以使图数据库有统一的访问能力。相比之下，关系数据库更严格，kv 数据库更松散，图数据库更统一。也还有一些其它的模型，比如平面模型，半结构化模型，面向对象模型，网状模型这些多是上面几种模型的简化或结合的产物。按是否商用可以分为免费和商用两种，一般免费的成本低，商用的服务有保障。按是否开源可以分为开源和闭源两种，目前一般商用数据不开源，或社区版本开源，商业版高级功能不开源。按网络化能力分为文件数据库，网络数据库和分布式/集群数据库。一般文件型数据不提供网络访问能力，多用于独立系统或嵌入式设备开发。网络数据库可以网络访问，多用于中小企业数据平台使用。分布式或集群数据可以多台联合访问数据分布式存储，一般多用于大规模数据服务解决方案。如果以表/关系为模型根据数据的行列存储不同可分为行式存储数据库和列式存储数据库。如果数据库提供了上层业务分析功能还可以分为时序数据库、AI 数据库等等。

在综合大数据分析、云计算、物联网、人工智能、区块链、5G 通信等新基建的创新发展，数字经济也会快速在经济发展中体现出来。数字化的技术、商品、服务形成了多方向、多层面、多链条的产业数字化，并且形成了数字产业链和产业集群的数字产业化。数字经济通过先进的网络基础设施与智能机等信息工具，处理大数据的数量、质量和速度的能力不断增强，推动人类经济形态由工业经济向信息经济、知识经济、智慧经济形态转化，极大地降低社会交易成本，提高资源优化配置效率。因此，数字经济又称智能经济。数字经济是一个经济系统，数字技术被广泛使用并由此带来了整个经济环境和经济活动的根本变化。企业、消费者和政府之间通过网络使得交易迅速增长，研究生产、分销和销售都依赖数字技术的商品和服务，创建一个多方共赢的环境，使得传统经济逐步数字化、网络化、智能化。数字经济的发展需要企业改进或创新竞争战略、组织结构和企业文化，整合与顾客、供应商、合作伙伴在数据、信息系统、工作流程和工作实务等方面的业务，制定个性化的标准、协议、传统、激励和工作流程。

数字经济受到三大定律支配。（1）梅特卡夫法则，网络的价值等于其节点数的平方，网络上联网的计算机越多，每台电脑的价值就越大，“增值”以指数关系放大。（2）摩尔定律，计算机硅芯片的处理能力每 18 个月就翻一翻，而价格以减半数下降。（3）达维多定律，进入市场的第一代产品能够自动获得 50%的市场份额，任何企业在本产业中必须第一个淘汰自己的产品，即网络经济中的马太效应。因此，数字经济具有快捷性、高渗透性、自我膨胀性、边际效益递增性、外部经济性、可持续性、直接性。

在企业数字化转型过程中，数据迁移(又称分级存储管理，hierarchical storage management，hsm)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库（简称带库）等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一 级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。数据迁移是将很少使用或不用的文件移到辅助存储系统(如磁带或光盘)的存档过程。这些文件通常是需在未来任何时间可进行方便访问的图像文档或历史信息。迁移工作与备份策略相结合，并且仍要求定期备份。还包括电脑数据迁移，迁移旧电脑（旧系统）中的数据、应用程序、个性化设置等到新电脑（新系统），在系统升级后很有必要。数据迁移的实现可以分为 3 个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明（包括数据的存储方式、数据量、数据的时间跨度）；建立新旧系统数据库的数据字典；对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法；开发、部属 ETL 工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施。

互联网技术等信息技术手段极大地降低了合作沟通的信息成本，使得广泛的、低成本的合作成为可能，通过信息平台而不是组织整合平台，伙伴间形成了虚拟企业，既具有大企业的资源优势，又具有小企业的灵活性，为合作各方带来极大的竞争优势。数字经济主要受软件、信息、教育、顾客权利、商业数字化、数字经济政策等因素的影响。企业实现数字化转型，转变企业数字化的管理和运营方式，中国新基建和数字经济的发展才能取得胜利。