写点什么

从报表到可视化,基于开源 Superset 实现数据管理升级的实践

  • 2024-12-11
    广东
  • 本文字数:2830 字

    阅读完需:约 9 分钟

本文来源:《华为云DTSE》第六期HDC 2024专刊,作者:华为云开发者技术服务团队。


华为开发者大会(HDC 2024)“DTSE 提供全旅程专业技术服务,助力开发者体验效率提升和创新”专题论坛上,华为云 DTSE 开发者技术服务专家表示 DTSE 能够为开发者提供代码级技术支持服务,倾听开发者声音,开发者进行方案改造及适配、架构优化、安全运维等,释放开发者创造力,打造千行百业应用。


泰国 OFM 公司电子商务与技术部 信息技术 SVP Kitti Suksangajaroen 在 HDC 2024 上分享了华为云 DTSE 助力泰国 OfficeMate(简称 OFM)实现开源 Superset 在华为云上的落地实践。DTSE 与 OFM 在开源选型、方案设计、适配、调优和运营方面密切合作,提供了全旅程开发者技术支持,助力 OFM 实现 O2O 技术方案快速落地,通过云上方案设计保障业务安全可靠。目前,已为 700+“数据匮乏”的用户提供了 3 年的数据和各种服务,未来将与华为云持续扩大合作。


当下,数字化、信息化以及智能化已经成为现代企业的主要发展趋势。随着数字化程度的提升,数据也随之成为了第五大生产要素,用于帮助企业生产、决策、创新等等


提及数据的管理,许多人可能首先想到经常使用的 Excel 表格。然而,随着数据量增长,Excel 的局限性愈发明显,其处理能力有限,权限管理薄弱,大数据量下查询及计算速度锐减。更关键的是,现代企业需要整合多系统数据,实现共享分析,而这正是 Excel 所难以胜任的。泰国 OFM 正面临这样的难题,急需寻找更高效的数据处理与分析方案。

 

无法分享与协助,传统文档模式已落后

OFM 隶属于泰国最大零售企业集团之一的中央集团,是泰国领先的办公用品零售商,其业务范围涵盖了办公家具、各类文具、技术产品及印刷等多元化产品和服务。公司在泰国已开设超过 50 家实体店铺,并经营一家在线商店,为客户提供便捷的线上线下一体化购物体验。


OFM 公司在其经营过程中,长期依赖于传统的 Excel 线下文件报表模式。然而,随着业务的快速发展和数据量的激增,这种模式逐渐暴露出诸多不足,已无法满足公司的需求。

  1. 实时性不足:Excel 的数据来源相对有限,且需手动输入,这导致数据既不够全面也缺乏实时性,影响了公司的决策效率;

  2. 分析能力不足:Excel 的数据分析能力相对简单,仅能满足基本的汇总和统计需求,对于复杂的数据分析和挖掘则显得力不从心,限制了公司对数据的深入挖掘和价值发现;

  3. 生成速度慢:报表生成过程繁琐,需要手动输入数据和设置公式,效率低下,导致公司的运营成本增加;

  4. 可视化效果不佳:Excel 的可视化效果不尽如人意,无法满足现代化、高效化的需求;

  5. 安全性低:Excel 的数据安全性也令人担忧,易被非法获取和篡改;

  6. 共享和协作困难:手动复制粘贴数据不仅效率低下,还容易出错,严重影响了团队间的协作效率。

  7. 为了更好了解市场,OFM 公司急需寻找一种更为高效、安全、全面的数据管理方式,以应对业务发展的挑战。

华为云+开源解决方案,支持 OFM 业务效率飙升

在 OFM 公司预算有限情况下,如何能够快速上线自己的商业化智能平台。围绕企业遇到的困难,我们对 OFM 公司当前的信息化需求进行分析,结合 OFM 公司业务实际情况,与他们多次交流讨论,最终确定华为云容器平台 CCE+开源 Apache Superset 组合解决方案。


华为云 CCE 可提供高度可扩展的、高性能的企业级 Kubernetes 集群,充分利用云上弹性能力、丰富存储类型,支持实现 SaaS 业务降成本、动态扩容、高可靠性等需求。Apache Superset 是一款开源大数据工具,用于数据探索分析和数据可视化。它提供了一个功能丰富的用户界面,使用户能够轻松地连接到各种数据源(如关系型数据库、NoSQL 数据库、数据仓库等),进行数据查询、切片和切块,并生成多种类型的可视化图表和仪表板。

技术架构图


我们通过华为云 CCE 部署可弹性伸缩的 Superset 平台,以应对高峰期带来的并发流量。方案从 6 个方面保证了 Superset 的安全、高可用和可适配的能力:

  1. 华为云 CCE 可提供高度可扩展的、高性能的企业级 Kubernetes 集群,充分利用云上弹性能力、丰富存储类型,支持实现 SaaS 业务降成本、动态扩容、高可靠性等需求。通过 CCE 部署 Superset,设置高效的弹性伸缩策略,打造弹性的高可用的 BI 平台;

  2. 在流量管理方面,流量首先会通过华为云 WAF 检测,拒绝恶意请求,以保证服务安全。接着,访问流量通过华为云 ELB 根据分配策略分发到后端服务,实现流量的负载均衡,从而保证了服务的稳定性;

  3. 在身份验证方面,DTSE 实现了 Superset 平台与客户自部署的开源身份验证系统-KeyCloak 的对接,从而实现单点登录,身份验证,权限管理等能力,提高了 BI 平台的安全性;

  4. 通过华为云 VPN,搭建了客户本地网络与华为云的安全、可靠、高性价比的加密连接通道。从而让云上 BI 平台可安全地对接客户本地数据源,保证数据安全的同时,提高了平台的适配能力;

  5. Superset 的镜像源现阶段还是保存于 Docker 平台中。CCE 底层的架构是 Kubernetes,在 1.27 版本后已经完全舍弃 Docker 使用 Containerd 替代。所以在拉取镜像源时,会出现拉取超时的问题。DTSE 通过把镜像拉取到华为云 SWR,以避免镜像拉取超时的问题;

  6. Superset 在对接不同的数据源时,需要不同的连接引擎。为了保证下载的完成,需要保证容器可访问公共网络。DTSE 通过配置华为云 NAT 网关 SNAT 规则,保证容器可访问到公共网络。确保 Superset 可以成功适配不同数据源。

从启程到远航,华为云 DTSE 提供全方位服务

借助华为云平台能力,结合开源 Superset 搭建的智能商业化平台,不仅帮助 OFM 公司实现 线上数据可视化平台对传统文件报表模式的替换,提升公司业务效率,也帮助企业做了很好的成本控制。


为了更好的帮助企业快速使用平台,我们与 OFM 公司 IT 团队与平台用户进行交流研讨,提供培训支持,帮助企业快速使用平台能力,满足业务诉求。

  1. 在 IT 领域,我们为 OFM 的 IT 人员提供了关于云服务以及 Apache Superset 运维的专业指导,详细解析了 Apache Superset 在使用过程中可能遇到的常见问题,并提供了针对性的 FAQ 问答,以确保 IT 团队能够高效、稳定地运用这些产品。

  2. 在平台用户层面,DTSE 围绕 Apache Superset 的核心功能,如常见组件、权限管控、警告功能等,开展了一系列全面而系统的培训并输出相关文档。通过培训,OFM 相关运维人员不仅能够更好地理解和使用 Apache Superset 的各项功能,还能够在实际工作中充分发挥其优势,提升工作效率和体验。


最终,经过我们的技术改造,OFM 线上数据可视化平台突破百万限制。线上平台高效地处理数据,使得每次系统访问数据库都能得到最新的数据信息。在业务应用层面,平台输出的报表更加的直观和好看,能够让人能清晰的理解和查看相关数据信息。

最后

开发者不仅是产业数字化、智能化创新的根本动力,也是华为云生态建设的重要支柱。一直以来,华为云始终践行赋能开发者云上创新原则,通过技术赋能企业开发者,提升企业研发人员的专业能力。华为云 DTSE 通过专家服务和技术指导,积极为开发者的成长提供强大支持,助力开发者业务实现快速、高效的发展,为企业提供坚实的技术保障,确保企业技术航行的平稳与顺畅。


参考资料:

如需华为云 DTSE 开发者支持服务,请进入在线提单:https://support.developer.huaweicloud.com/feedback/

 

用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
从报表到可视化,基于开源Superset实现数据管理升级的实践_Kubernetes_华为云开发者联盟_InfoQ写作社区