写点什么

tidb 的成本经

  • 2024-06-14
    北京
  • 本文字数:6325 字

    阅读完需:约 21 分钟

作者: tidb 狂热爱好者原文来源:https://tidb.net/blog/51fa08b5


**TiDB 成本节省:



优化存储、减少机器数量与降低单机价格的综合策略 ** 在当今数字化时代,数据的重要性日益凸显,企业对于高效、可靠的数据存储和管理需求也与日俱增。TiDB(Ti Distributed Database)作为一款分布式数据库,以其卓越的性能和可扩展性,成为了众多企业的首选。然而,在选择 TiDB 时,成本是一个不可忽视的因素。本文将探讨如何通过优化存储、减少机器数量和降低单机价格等策略,实现 TiDB 成本的节省。 


一、存储优化 


(一)数据压缩 数据压缩是一种常见的存储优化技术,它通过减少数据的冗余信息,降低存储空间的占用。对于 TiDB 而言,数据压缩可以在不影响性能的前提下,显著减少存储成本。通过采用高效的压缩算法,如 LZ4、Snappy 等,可以将数据压缩至原来的几分之一甚至更小,从而节省大量的存储空间。 


(二)冷热数据分离


TiDB 支持数据的冷热分离,将经常访问的数据(热数据)存储在高性能的存储介质上,而将较少访问的数据(冷数据)存储在成本较低的存储介质上。通过合理划分数据的冷热属性,并将其存储在不同的存储层中,可以在保证性能的同时,降低存储成本。例如,可以使用闪存存储热数据,而使用机械硬盘存储冷数据。 


ebs gp3 0.096(gb) io 0.006(gb) MBS 0.048(gb)


ebs coldhdd 0.018(gb)


s3 0.021(gb)io 不要钱


(三)数据分区策略 数据分区是将数据按照一定的规则划分成多个分区的过程。通过合理的数据分区策略,可以将数据分布到不同的节点上,提高数据的访问效率和并行处理能力。同时,数据分区还可以减少数据的冗余存储,降低存储成本。在 TiDB 中,可以根据数据的特征(如时间戳、地域等)进行分区,以实现更好的存储优化。


二、减少机器数量 


(一)合理规划资源 在部署 TiDB 时,需要根据业务需求和数据量合理规划资源。通过准确评估系统的负载和性能要求,选择合适的机器配置和数量,可以避免资源浪费和不必要的成本支出。同时,还可以通过资源动态调整和弹性扩展等技术,根据业务的变化实时调整资源分配,提高资源利用率。 


(二)利用分布式架构 TiDB 采用分布式架构,将数据分布到多个节点上进行存储和处理。通过合理利用分布式架构的优势,可以提高系统的并发性和容错性,减少对单个机器的依赖。在实际应用中,可以根据数据的分布和访问模式,合理调整节点的数量和配置,以达到最优的性能和成本平衡。 


(三)优化查询性能 查询性能是影响系统资源利用的重要因素。通过优化查询语句、建立合适的索引、调整缓存策略等手段,可以提高查询的效率,减少系统的资源消耗。优化查询性能不仅可以提高用户体验,还可以降低对机器数量的需求,从而节省成本。


三、降低单机价格 


(一)选择性价比高的机器 在购买机器时,不仅要关注价格,还要考虑机器的性能、可靠性和扩展性等因素。选择性价比高的机器,可以在满足业务需求的前提下,降低单机价格。同时,还可以通过与供应商谈判、批量采购等方式争取更优惠的价格。 


(二)利用虚拟化技术 虚拟化技术可以将一台物理机划分为多个虚拟机,从而提高资源利用率和降低成本。在 TiDB 部署中,可以利用虚拟化技术将多个 TiDB 节点部署在一台物理机上,减少机器数量,降低硬件成本。同时,虚拟化技术还可以提供更好的灵活性和可扩展性,便于系统的管理和维护。 



把 tikv 的 leader 强制绑定在物理机上。tidb 和 pd 采用虚拟机。这样费用就省只需要 4 台机器就行。特别是阿里 腾讯都有托管选项,托管进机房费用非常低。可以独占物理机。


(三)考虑云服务 云服务提供商通常提供灵活的计费模式和资源配置选项,可以根据实际需求选择合适的云服务类型和规模。与传统的硬件购买相比,云服务可以降低前期投入和运营成本,同时还可以享受云服务提供商提供的专业运维和技术支持。 


四、机器类型和架构选择 


(一)根据业务需求选择机器类型 不同的业务场景对机器类型的要求不同。例如,对于计算密集型业务,需要选择高性能的 CPU;对于存储密集型业务,需要选择大容量的硬盘。在选择机器类型时,要根据业务的特点和需求,选择最适合的机器类型,以提高系统的性能和性价比。 


机器类型可以选择 arm 费用低,性能好。而且云上的机器都是混布的,一台物理机同时有很多公司使用。但 arm 的芯片往往没人用,是你在独占。


(二)优化机器架构 机器架构的选择也会影响成本和性能。例如,采用多核 CPU、高速网络接口、大容量内存等配置,可以提高系统的处理能力和数据传输速度,从而提高系统的性能和效率。同时,还可以通过优化机器架构,降低功耗和散热成本,提高系统的可靠性和稳定性。


买机器尽量买最新的容量大的带本地磁盘的机器。这些都是好机器呀别买 2 核心或者性能核心,共享核心这种机器。


五、跨网络交换费用 


(一)优化网络拓扑结构 网络拓扑结构的优化可以减少数据在网络中的传输距离和延迟,提高数据传输效率。通过合理规划网络拓扑结构,选择合适的网络设备和带宽,可以降低跨网络交换费用。同时,还可以采用网络虚拟化技术,将多个网络虚拟化为一个逻辑网络,提高网络的灵活性和可扩展性。 


比如机器选择单 az。不用交换和跨网络费用


(二)利用数据压缩和缓存 数据压缩可以减少数据的传输量,从而降低跨网络交换费用。同时,利用缓存技术将经常访问的数据缓存到本地,也可以减少对网络的访问,降低跨网络交换费用。在 TiDB 中,可以通过配置缓存策略和数据压缩算法,实现对跨网络交换费用的优化。


六、薅资本主义的羊毛 


(一)利用开源软件 TiDB 是一款开源分布式数据库,其源代码可以免费获取和使用。通过利用开源软件,可以降低软件采购成本,同时还可以获得社区的支持和贡献。在使用开源软件时,要注意遵守开源协议和版权法规,确保合法合规使用。 


比如你可以积极参加社区活动。和社区的架构师搞好关系。万一遇到问题,他马上帮您解决。


(二)参与社区贡献 TiDB 社区是一个活跃的开源社区,拥有众多的开发者和用户。通过参与社区贡献,可以获得更多的技术支持和交流机会,同时还可以为项目的发展做出贡献。在社区中,可以分享自己的经验和技巧,帮助其他用户解决问题,提高自己的技术水平和影响力。 


其实在你帮助社区的时候你自己也在提升技术。


(三)关注行业动态和技术发展 关注行业动态和技术发展可以及时了解到最新的技术趋势和产品信息,从而更好地选择和使用适合自己的技术和产品。同时,还可以通过参加行业会议、研讨会等活动,与同行交流和分享经验,拓展人脉资源和商业机会。 综上所述,通过优化存储、减少机器数量、降低单机价格、选择合适的机器类型和架构、优化跨网络交换费用以及利用开源软件等策略,可以实现 TiDB 成本的节省。在实际应用中,需要根据具体情况进行综合考虑和优化,以达到最优的成本效益和性能平衡。


云上的价格是可以谈的。大企业基本有 50% 的返利。而且自己做自己的代理也能返利 50%。


课后习题你觉得这个性能


A 性能 tpmC: 27878.3, tpmTotal: 62098.7, efficiency: 21678.3%


B 性能 tpmC: 6009.7, tpmTotal: 13266.9, efficiency: 4673.2%



哪个是 a 哪个是 b


TiDB 是一个分布式数据库系统,既可以作为单台服务器部署,也可以进行分布式部署以满足更大规模和更高性能的需求。以下是单台 TiDB 和分布式部署在不同场景下的可行性:


单台 TiDB 的场景:


  1. 开发和测试环境:对于较小规模的开发和测试项目,单台 TiDB 可以提供一个简单的数据库解决方案,用于验证和调试应用程序。

  2. 小型业务系统:如果业务系统的数据量较小,并发访问量较低,单台 TiDB 可能足以满足需求。

  3. 简单的数据分析和报告:对于不需要高并发和大规模数据处理的数据分析和报告任务,单台 TiDB 可以作为数据存储和查询的工具。

  4. 资源有限的环境:如果可用的硬件资源有限,无法支持分布式部署所需的多台服务器,单台 TiDB 可以在这种情况下提供数据库服务。


分布式部署的场景:


  1. 大规模数据存储和处理:当需要处理大量的数据,并且数据增长速度较快时,分布式部署可以提供更好的扩展性和性能。

  2. 高并发访问:对于需要支持高并发用户访问或大量请求的系统,分布式部署可以通过分布负载来提高性能和响应能力。

  3. 数据可用性和容错性要求高:分布式部署可以实现数据的冗余存储和自动故障转移,提供更高的数据可用性和容错性,确保系统的可靠性。

  4. 业务增长和扩展:如果预计业务会有较大的增长或需要扩展到多个地理位置,分布式部署可以更轻松地满足未来的需求。

  5. 复杂的业务逻辑和查询需求:对于需要复杂的业务逻辑和查询处理的场景,分布式部署可以提供更强大的计算能力和数据处理能力。


需要注意的是,具体的场景选择应根据实际需求、数据量、性能要求、预算和技术团队的能力等因素进行综合考虑。在决策之前,建议进行详细的评估和测试,以确定最适合的部署方式。


那单台 tidb 有什么好处?一个费用省。而且在云上也不容易挂。 第二费用毕竟降 3 倍。比那 2 份存储省多了


单台 TiDB 的优点:


  1. 简单易用:单台 TiDB 部署相对简单,不需要复杂的配置和管理,适合小型项目或开发测试环境。

  2. 低成本:只需要购买一台服务器,成本较低,适合预算有限的用户。

  3. 低维护成本:由于只有一台服务器,维护和管理相对简单,不需要担心分布式系统中的节点故障和数据一致性等问题。


单台 TiDB 的缺点:


  1. 性能瓶颈:单台服务器的性能有限,可能无法满足大规模数据处理和高并发访问的需求。

  2. 扩展性差:无法通过增加服务器来扩展系统的性能和存储容量,限制了系统的可扩展性。

  3. 单点故障风险:如果单台服务器发生故障,可能会导致整个系统不可用,影响业务的连续性。


分布式部署的优点:


  1. 高性能:通过分布多个节点可以提高系统的性能和并发处理能力,满足大规模数据处理和高并发访问的需求。

  2. 高扩展性:可以通过增加节点来扩展系统的性能和存储容量,具有良好的可扩展性。

  3. 高可用性:分布式系统可以通过数据冗余和自动故障转移等机制提高系统的可用性,减少单点故障的影响。


分布式部署的缺点:


  1. 复杂的部署和管理:分布式部署需要进行复杂的配置和管理,包括节点的选择、网络设置、数据同步等,需要较高的技术水平。

  2. 成本较高:需要购买多台服务器,并确保它们之间的网络连接和存储配置,成本较高。

  3. 数据一致性问题:在分布式系统中,需要解决数据一致性的问题,确保数据的准确性和完整性。


那有没有即省钱也好用的单台 tidb 的部署方案呢?


其实是有的。ecs 一般要 2000 天才会遇到硬件损坏。你还可以用 s3 备份的方式来做备份。保证数据不会丢失。


当资金紧张的情况下是部署单机好还是部署分布式好


此外,TiDB 还提供了一些特性和功能,如数据分区、自动负载均衡、故障恢复等,以帮助更好地适应不同的场景和需求。无论选择单台 TiDB 还是分布式部署,都可以根据具体情况进行适当的配置和优化,以实现最佳的性能和成本效益。


TiDB 成本节省:优化存储、减少机器数量与降低单机价格的综合策略


在当今数字化时代,数据的重要性日益凸显,企业对于高效、可靠的数据存储和管理需求也与日俱增。TiDB(Ti Distributed Database)作为一款分布式数据库,以其卓越的性能和可扩展性,成为了众多企业的首选。然而,在选择 TiDB 时,成本是一个不可忽视的因素。本文将探讨如何通过优化存储、减少机器数量和降低单机价格等策略,实现 TiDB 成本的节省。


一、存储优化


(一)数据压缩


数据压缩是一种常见的存储优化技术,它通过减少数据的冗余信息,降低存储空间的占用。对于 TiDB 而言,数据压缩可以在不影响性能的前提下,显著减少存储成本。通过采用高效的压缩算法,如 LZ4、Snappy 等,可以将数据压缩至原来的几分之一甚至更小,从而节省大量的存储空间。


(二)冷热数据分离


TiDB 支持数据的冷热分离,将经常访问的数据(热数据)存储在高性能的存储介质上,而将较少访问的数据(冷数据)存储在成本较低的存储介质上。通过合理划分数据的冷热属性,并将其存储在不同的存储层中,可以在保证性能的同时,降低存储成本。例如,可以使用闪存存储热数据,而使用机械硬盘存储冷数据。


(三)数据分区策略


数据分区是将数据按照一定的规则划分成多个分区的过程。通过合理的数据分区策略,可以将数据分布到不同的节点上,提高数据的访问效率和并行处理能力。同时,数据分区还可以减少数据的冗余存储,降低存储成本。在 TiDB 中,可以根据数据的特征(如时间戳、地域等)进行分区,以实现更好的存储优化。


二、减少机器数量


(一)合理规划资源


在部署 TiDB 时,需要根据业务需求和数据量合理规划资源。通过准确评估系统的负载和性能要求,选择合适的机器配置和数量,可以避免资源浪费和不必要的成本支出。同时,还可以通过资源动态调整和弹性扩展等技术,根据业务的变化实时调整资源分配,提高资源利用率。


(二)利用分布式架构


TiDB 采用分布式架构,将数据分布到多个节点上进行存储和处理。通过合理利用分布式架构的优势,可以提高系统的并发性和容错性,减少对单个机器的依赖。在实际应用中,可以根据数据的分布和访问模式,合理调整节点的数量和配置,以达到最优的性能和成本平衡。


(三)优化查询性能


查询性能是影响系统资源利用的重要因素。通过优化查询语句、建立合适的索引、调整缓存策略等手段,可以提高查询的效率,减少系统的资源消耗。优化查询性能不仅可以提高用户体验,还可以降低对机器数量的需求,从而节省成本。


三、降低单机价格


(一)选择性价比高的机器


在购买机器时,不仅要关注价格,还要考虑机器的性能、可靠性和扩展性等因素。选择性价比高的机器,可以在满足业务需求的前提下,降低单机价格。同时,还可以通过与供应商谈判、批量采购等方式争取更优惠的价格。


(二)利用虚拟化技术


虚拟化技术可以将一台物理机划分为多个虚拟机,从而提高资源利用率和降低成本。在 TiDB 部署中,可以利用虚拟化技术将多个 TiDB 节点部署在一台物理机上,减少机器数量,降低硬件成本。同时,虚拟化技术还可以提供更好的灵活性和可扩展性,便于系统的管理和维护。


(三)考虑云服务


云服务提供商通常提供灵活的计费模式和资源配置选项,可以根据实际需求选择合适的云服务类型和规模。与传统的硬件购买相比,云服务可以降低前期投入和运营成本,同时还可以享受云服务提供商提供的专业运维和技术支持。


四、机器类型和架构选择


(一)根据业务需求选择机器类型


不同的业务场景对机器类型的要求不同。例如,对于计算密集型业务,需要选择高性能的 CPU;对于存储密集型业务,需要选择大容量的硬盘。在选择机器类型时,要根据业务的特点和需求,选择最适合的机器类型,以提高系统的性能和性价比。


(二)优化机器架构


机器架构的选择也会影响成本和性能。例如,采用多核 CPU、高速网络接口、大容量内存等配置,可以提高系统的处理能力和数据传输速度,从而提高系统的性能和效率。同时,还可以通过优化机器架构,降低功耗和散热成本,提高系统的可靠性和稳定性。


五、跨网络交换费用


(一)优化网络拓扑结构


网络拓扑结构的优化可以减少数据在网络中的传输距离和延迟,提高数据传输效率。通过合理规划网络拓扑结构,选择合适的网络设备和带宽,可以降低跨网络交换费用。同时,还可以采用网络虚拟化技术,将多个网络虚拟化为一个逻辑网络,提高网络的灵活性和可扩展性。


(二)利用数据压缩和缓存


数据压缩可以减少数据的传输量,从而降低跨网络交换费用。同时,利用缓存技术将经常访问的数据缓存到本地,也可以减少对网络的访问,降低跨网络交换费用。在 TiDB 中,可以通过配置缓存策略和数据压缩算法,实现对跨网络交换费用的优化。


通过优化存储、减少机器数量、降低单机价格、选择合适的机器类型和架构、优化跨网络交换费用以及利用开源软件等策略,可以实现 TiDB 成本的节省。在实际应用中,需要根据具体情况进行综合考虑和优化,以达到最优的成本效益和性能平衡。


发布于: 刚刚阅读数: 4
用户头像

TiDB 社区官网:https://tidb.net/ 2021-12-15 加入

TiDB 社区干货传送门是由 TiDB 社区中布道师组委会自发组织的 TiDB 社区优质内容对外宣布的栏目,旨在加深 TiDBer 之间的交流和学习。一起构建有爱、互助、共创共建的 TiDB 社区 https://tidb.net/

评论

发布
暂无评论
tidb 的成本经_性能测评_TiDB 社区干货传送门_InfoQ写作社区