隐私计算大规模落地场景的解决之道：分布式计算架构

​

文章要点：

1、数牍为什么要自研分布式计算框架？

2、数牍的分布式计算框架有什么独特之处？

3、当分布式计算架构照进隐私计算，会带来什么改变？

2019 年，Gartner 首次将隐私计算列为处于启动期的关键技术。

2020 年，Gartner 又将隐私计算列为 2021 年企业机构九大重要战略科技之一。

近两年，伴随着技术的不断成熟，国内外隐私计算产业化的步伐明显加快。Gartner 发布的 2022 年十二大重要战略技术趋势中指出，预计到 2025 年，60%的大型企业机构将使用一种或多种隐私计算技术。业内的一个总体判断是，未来几年将是隐私计算技术产品加速迭代，应用场景快速升级，产业生态逐步成熟的重要阶段。

隐私计算技术目前主要被应用于金融、政务领域的一些特定场景中，行业仍处于大规模商业化落地的前夕。隐私计算的爆发似乎只缺一个真正契合其技术价值的可扩展的商业需求，而届时大规模的应用势必会带来海量的数据处理工作。

隐私计算是以多方安全计算、同态加密、联邦学习和可信执行环境等为代表的现代密码学和信息安全技术，在保证原始数据安全隐私性的同时，完成对数据的计算和分析，实现数据的“可用不可见”。

隐私计算模型训练过程中的计算是密文计算，对计算效率的要求非常高。以 RSA 算法为例，其依赖的是 1024 或 2048 位甚至更长的大整数运算，且运算包括模幂、模乘等复杂运算，以此来保证算法的安全性。和传统机器学习一般使用的 32 位或 64 位的基本运算相比，计算量、传输密文数据量增加了几十倍，而如果使用部分同态加密，计算量可达明文计算量的上百倍，传输总量可达百倍甚至千倍。另外，多个参与方势必导致更多的计算量，单个机器想要性能提高，无限扩容并不实际，且会导致硬件成本高企。

随着隐私计算商业化落地不断深入，不同场景对技术实现所提出的要求变得越来越高。当前业内主流的隐私计算技术是：多方安全计算、联邦学习和可信执行环境。目前主流的厂商和方案多数还是单体架构，在一个参与方内，计算任务通常在一个节点完成。但当面对大数据量、大规模应用的运算场景时，单体架构很容易遇到瓶颈，因此，可以实现计算能力横向扩展的分布式技术就成为比较理想的选择。

分布式架构一直是大数据技术的核心应用工具。2004 年，Google 发表论文《MapReduce: Simplified Data Processing on Large Clusters》，由此奠定了业界大规模分布式计算系统的理论基础，此后，一大批优秀的分布式计算框架应运而生并不断进化，如 Hadoop、Storm、Spark、Flink 等大数据处理框架。

但现有的多数大数据框架以及开源框架，基本上都是用 Java 或 Scala 这种基于 JVM 的语言编写的，而隐私计算在计算量、计算的性能、内存管理上的要求都比较高。这意味着，即便传统大数据领域中已经有很多优秀的分布式计算框架，但却难以直接使用或进行二次开发。更重要的是，此类框架无法进行异构多参与方调度。

数牍科技被认为是隐私计算行业采用分布式计算架构的代表企业，很早就意识到大数据量处理是隐私计算工程落地过程中不可避免的趋势，于是开始考虑在隐私计算领域里去自研分布式计算架构。在平衡成本、效率和安全等因素后，数牍决定通过完全自研的分布式计算框架，以横向扩展的方式扩大计算能力，既适应自身需求且可工程落地，为适应未来隐私计算大规模商业化落地而带来的大数据量问题，做好充足的准备。

需要注意的是，数牍重造分布式计算架构不是“为做而做”，而是考虑到在隐私计算领域的数据处理问题比其他领域的更困难、更突出。

在大数据领域，有中心调度节点，计算在一个数据中心内完成；在隐私计算领域：计算无中心，在异构的多参与方协作下完成。数牍科技的分布式计算架构的典型特征之一是，计算无中心、调度有中心。参与方之间没有中间协调的点，任何算法在计算过程中都不会有中心点，可有效规避缺乏可信第三方而产生的信任问题。

作为打造高效率、高安全性和高流动性数据要素交易市场的关键技术之一，如何让隐私计算兼顾效率和可用是数牍科技的关注点。

隐私计算产品的性能相比明文计算慢很多。根据《隐私计算应用研究报告（2022 年）》，影响隐私计算产品性能的主要因素如下：加密算法对性能的影响。加密算法在计算过程中存在较多的加密、解密步骤，让计算量以几何级增长，相比明文计算，密文计算需要更大的存储、计算资源和通信负载，导致性能损失；资源因素影响。在加密算法的计算和通信过程中，网络通信环境、数据预处理情况、算力、运行环境等因素也会对隐私计算的性能产生相应的影响；多方协同的“木桶效应”。多方计算模式下，需要多个参与方同步计算、实时通信，在性能上体现出了“木桶效应”，即：性能最弱的参与方或者计算节点将成为整个网络环境的计算瓶颈。

大规模的应用必将带来海量的数据，在落地具体场景的过程中，隐私计算产品的可用性问题随之而来。前述报告就指出，在隐私计算场景中会面临大量的密文运算及节点间通信，计算和通信的代价会非常高昂，大规模场景、数十亿数量级运算，分布式计算节点故障、网络波动会引发稳定性问题。

数牍分布式计算架构充分考虑到上述问题，提前部署。从数牍科技分布式架构的技术特点来看：

第一，在整个多方参与的计算过程中，没有任何中心调度节点。每一方的算子可以起到各自调度的功能。双方的算子之间会进行元数据、控制信号的交互，实现调度上协调的功能。计算节点之间会有数据传输和交换的功能，兼顾效率的同时可有效解决缺乏可信第三方的问题。

第二，采用多项成熟云原生技术，拥抱主流技术趋势，使产品快速适配各种需求和场景，降低运维的部署和维护成本。同时也大大简化计算资源的管理过程，降低开发成本。

第三，框架面向生产环境，具有高可用、断点恢复等功能。同时也能根据实际资源的情况进行弹性伸缩、灵活部署的能力。以解决分布式计算节点故障为例，数牍分布式计算框架做了相应的设计，解决隐私计算产品的高可用问题。一个机房可能会部署上百台机器，只要是机器就会出故障，故障原因层出不穷，从网络不稳定、机器故障、温度过高，到停电、插头松动等等不一而足，需要做到的是用一个方法解决所有故障。

从数牍内部的各项测试和信通院的测评结果来看，数牍的分布式计算框架，可以有效通过资源横向扩展的方式，成比例地提高隐私计算的执行效率。举个例子，一个通过单计算节点需要三个小时的 XGBoost 训练任务，利用分布式框架部署到三个计算节点后，训练所需的时间缩短为一个小时。

隐私计算的实际应用场景非常复杂，如异构环境带来的跨网跨域传输、使用相对复杂的密码学运算及大量的密文计算等，这些都需要消耗大量的计算和通信资源，较难实现在大规模数据上的应用。因此计算性能一直是隐私计算工程化落地的瓶颈之一。分布式技术路径在隐私计算领域具有非常广阔的前景和潜力，能够解决隐私计算工程化落地时遇到的挑战。

数牍科技采用分布式架构的隐私计算平台，能够很好地解决上述问题，兼顾可用与安全，助力数据高效流通。发挥出隐私计算技术的价值，惠及真正能够受益于此的行业和人群。