同态加密加速加密数据上的机器学习训练

在 2020 年加密计算与应用同态密码学研讨会上，研究人员提出了一种创新方法，将逻辑回归模型的同态加密训练速度提升至先前工作的六倍。

同态加密原理

同态加密(HE)技术允许直接对加密数据进行计算，为云端机器学习服务提供了额外安全层。其核心是提供加密版本的加法和乘法 API：

• 加密加法：输入两个加密值，输出其明文和的加密结果

• 加密乘法：输入两个加密值，输出其明文积的加密结果

通过将任意函数ƒ表示为仅使用 HE 加法和乘法操作的电路ƒ̂，eval 操作可以接受ƒ̂和加密输入，生成ƒ(m)的加密输出。

乘法深度优化

eval 操作的效率取决于电路的乘法深度（电路中任意路径上的最大乘法次数）。研究表明：

• 传统逻辑回归训练电路的乘法深度为 5k（k 为数据小批量数量）

• 新方法通过线性代数工具包和编译器优化技术，将乘法深度降至 2.5k

关键技术包括：

1. 循环展开：复制循环体以实现更多优化可能

2. 流水线处理：允许重叠执行循环迭代

3. 消除数据依赖：通过计算复制增加电路宽度（并行操作数）

实际应用效果

在 MNIST 手写数字数据集上的测试显示：

• 虽然新电路需要增加 80%的带宽和 4 倍乘法操作

• 但并行实现下训练速度提升 6 倍（13 秒 vs 基线 80 秒）

• 加密训练的模型与明文数据训练的模型准确率相同

开发工具支持

为简化其他机器学习模型的同态电路开发，研究团队开源了同态实现工具包(HIT)，这是一个提供高级 API 的 C++库，可帮助构建各类机器学习训练函数的安全计算电路。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手