【ArchSummit】通过 ArchSummit 全球架构师峰会对企业数字化转型的思考
前言
📫 作者简介:小明Java问道之路,专注于研究 Java/ Liunx 内核/ C++及汇编/计算机底层原理/源码,就职于大型金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳定性建设。
📫 热衷分享,喜欢原创~ 关注我会给你带来一些不一样的认知和成长。
🏆 InfoQ 签约作者、CSDN 专家博主/后端领域优质创作者/内容合伙人、阿里云专家/签约博主、51CTO 专家 🏆
🔥 如果此文还不错的话,还请👍关注 、点赞 、收藏三连支持👍一下博主~
前言
2022 年 9 月 26 -27 日,有幸参加极客邦科技旗下 InfoQ 中国举办的 ArchSummit 全球架构师峰会(杭州站)。
本次大会是以“数字化转型下的架构升级”为主题,邀请到互联网、金融、智能设备等行业与学术界的技术专家共同探讨数字化转型背景下的技术架构升级路线。
大会内容涵盖人工智能、云计算、微服务、元宇宙、智能运维、大数据等主题,为企业管理者、架构师与开发人员提供了行业前沿视角与参考,帮助企业在数字化时代赢得先机,把握竞争优势。
本次大会官网ArchSummit 全球架构师峰会(杭州站),感兴趣的同学可以自行了解,错过杭州站的同学可以去了解一下北京站 。
本文导读
互联网寒冬下,人人都在喊口号“企业降本增效”、“企业数字化转型”,但是降本增效究竟是什么?为了什么呢?数字化转型又是什么?怎么才能通过数字化技术助力企业和个人发展呢?
笔者认为降本增效不是一味地节约成本,而是要计算投入和产出比,砍掉不能带来价值的成本或者不能带来价值的人力,同时又不能对有价值的业务产生影响。这里笔者总结了主要两点,第一就是降低项目的成本,第二提高团队的工作效率。
数字化转型,是通过数据提升效率、降低成本、进行业务创新,所以说,云技术(云计算、云原生)是数字化转型的基石和助推器,使数字化时代提前到来,进一步推动数智化时代的快速来临。
一、企业数字化转型的趋势与挑战
汪源博士总结,企业数字化转型的趋势与挑战主要包括以下内容:1、在存储和计算领域初步形成的开放式分层架构及湖仓一体技术;2、数据编织的概念及实现方式;3、从 ETL 到 ELT 再到 AutoETL 和 NoETL,深入分析 ETL 的表象与本质,并连带分析 HTAP 的应用场景及局限;4、如何解决报表与即席查询的性能问题,提供优异的最后一公里体验。
笔者这里感悟不径相同,企业化转型的架构离不开技术、工具的支持。
存储方面有 HDFS 和对象存储,计算的工具有 MapReduce、YARN/K8s,数据格式的助力有 Parquet,Catalog 主要为 HMS,SQL 引擎中间件有 Impala、SparkSQL、Presto,流计算的中间件 Kafka、PULSAR、Flink 被广泛使用。
同时现代数据分析技术三大主题:统一的基础设施(可支持实时数据更新与消费、开放、低成本的流式湖仓基础设施)、统一的中间层(统一的模型、指标、计算逻辑与口径事前事中事后持续治理)、统一的数据资产(企业全域数据资产的高效整合与管理兼容各种风格的数据处理技术)。
二、从架构和架构师的角度看数字化转型
GoogleCloud 中国架构师团队的赵霏老师说,公有云在飞速发展,帮助互联网和传统企业降低 IT 运营成本、增强企业运营弹性和加速创新等方面。通过这几个视角的详细阐述,并通过具体应用场景和案例,来说明公有云对企业数字化转型所起到的重要作用。
1、Google 的观点
本讲围绕公有云发展现状、企业数字化转型需求和目标、企业数字化转型需要克服的技术难点、企业在数字化转型过程中存在的挑战、数字化转型过程中公有云给企业带来的益处和场景(包括案例)、站在架构师个人角度的经验传递逐一讲解 Google 的观点。
Google 的观点,应用程序的未来以及它们运行的基础设施是使用容器化微服务创建的,通过具有单控制体验的声明式系统进行管理,该系统使用 Service Mesh 跨越所有应用程序位置。
2、Google 视角中的数字化转型
1、应用现代化,构建云原生的应用成启用新的数据平台(在 Google Cloud 可让您编写一次,在本地成任何云中的任何位置运行 write once, run anywhere)
2、数据现代化实现数据的现代化,支持 AI/ML(致力于使用数据来帮助您在真正的全球化规模中获得独特的洞察力)
3、打造创新文化,新的客户体验,重新设计商业模式和转交文化(Google 的核心是一家创新公司建立协作和敏捷的文化)
三、数字化助力金融综合经营
平安壹钱包 CTO 吴鹏越总说,我们会通过科技和数字化的手段,去促进对客户的了解,对产品和产品的更好的匹配。
最重要的原因是互联网行业,科技行业在过去十几年其实日子是非常好过,因为互联网的用户在增加,各种公司的工作机会很多,公司也不缺钱,其实大家的日子比较好过,我们通常候选人是远远少干工作机会的。但是在最近呢这个逻辑发生了变化,就是现在很多公司开始降本增效,很多公司开始猜测一些价值,没有那么大的或者成本比较高的业务线,那么有些公司开始裁员,市面上的候选人增多,还有源源不断的毕业生。但其实并没有满足用户的真实需求,也没有对公司的业务产生价值 当然这里的价值是广义的价值,它既可以业上的价值,也可以包括用户价值研究可以。
四、企业数字化转型的落地
企业化转型的架构离不开技术、工具的支持,接下来我们通过生产工作中实际的痛点问题,到最终采取的解决方案来全面了解。
1、生产工作中实际的痛点问题
在公司业务高速发展过程中,数据库的访问压力剧增,多团队合作也带来更多不便,同时发生了单站点的 MySQL 机房发送故障导致停机。
虽然早期时商业数据库的分布式能力可以满足大部分用户的场景,但是随之而来的成本剧增肯定是不划算的,对业务场景弹性伸缩支持也不够。
如下图所示:
2、最终采取分布式云数据库解决方案
这时候发现了一款兼容 MySOL 的自主可控、高一致性分布式数据库产品,完美的解决了我司几乎所有的痛点问题。
下面是系统使用分布式云数据库的架构图:
可以看到不但提升了负载均衡的能力,采用共享分布式存储的设计,彻底解决了主从异步复制所带来的备库数据非强一致性的问题,解决了传统主备架构弹性能力差,业务压力大时的同步效率低,主备切换时间不可控等问题,在提供高性能同时保证了系统的高可用性和业务的连续性。
同时原有业务应用几乎不用更改即可接入分布式云数据库,极大的减轻了运营、开发和运维人员的工作量。
如下图所示采用了分布式云数据库后提升了系统整体能力:
3、使用分布式云数据库的优势
1、高可用、高可靠、保证业务连续,全面兼容开源数据库 MySQL 不用考虑迁移的难度,较低成本!
2、解决了多可用区容灾、高安全性的问题,在多个可用区内都有数据备份,为数据库提供容灾和备份。采用共享分布式存储的设计,彻底解决了主从异步复制所带来的备库数据非强一致性的问题。
3、轻松应对业务洪峰,主节点和读节点之间采用物理复制的方式,读节点与主节点延迟大大降低,满足活动场景中数据一致性读取需求。
4、灵活弹性扩展高、稳定性,敏捷灵活的弹性扩展,可根据业务需要快速升降级,快速扩容,轻松应对业务峰值,以及秒级的快照备份和快速回档能力。解决了传统主备架构弹性能力差,业务压力大时的同步效率低,主备切换时间不可控等问题。
4、分布式云数据库的应用场景
互联网移动 App,自带高可用架构,自动维护数据多副本,自动进行数据的校验和修复,减少人工干预,数据可靠性达 99.9999999%
游戏应用,自动扩容,免去合区合服的繁琐操作,实现资源和成本的最优配置,在多副本的基础上对用户的数据进行连续保护,是互联网和游戏行业的最佳选择。
电商直播教育行业,支持秒级的升配,最多可扩展至 15 个节点,快速弹升 QPS 的能力,轻松应对业务峰值。
金融保险企业,为数据库提供容灾和备份,对数据库数据访问、存储、管理等各个环节提供安全保障,解决主从异步复制所带来非强一致性的问题。
五、企业数字化转型总结
本专题围绕数字化转型下的业务架构思维和业务架构框架来进行讨论,分享业界已经经过验证的业务架构模型。
结合了笔者自身的经历,讨论了云技术对企业数字化转型的重要性。本文内在此不再赘述。
感兴趣的同学可以自行了解北京站。
版权声明: 本文为 InfoQ 作者【小明Java问道之路】的原创文章。
原文链接:【http://xie.infoq.cn/article/66b0b5e1335ab3cf08e8c9558】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论