短短 6 小时，AI 设计出 40000 种毒气分子，很多毒性远超战用神经毒剂

题图 | Willo

提到 AI 作恶，你会想到什么？

是电影《机械公敌》里的机器人为了达到「不伤害人类」的目的，必须先消灭「彼此伤害」的人类？

还是因为训练数据集本身充满了偏见，导致 AI 模型性别歧视或种族歧视？

近日发表在 Nature Machine Intelligence 杂志上的一篇文章报道了另一个令人震惊的实验：

AI 模型在不到 6 小时的时间内，设计出了 4 万种毒气分子，很多分子的毒性远超战用神经性毒剂。

要知道，战用神经性毒剂（简称 VX）可是 20 世纪研制的最强力的神经性毒剂，只需 6~10 毫克就能致命。

最开始没想过

让 AI 模型往这个方向发展

研究人员的本职工作是将新的机器学习模型应用于药物发现领域，他们的机器学习模型大部分是用来预测毒性的。

不论开发什么药物，都要确保它们没有毒性。如果你开发的药物确实能有效降低血压，但它同时还有毒性，会导致心脉痹阻，那么这种药物就不能应用。

他们的机器学习模型就是用来预测药物分子是否具有某种毒性的。

后来，他们收到瑞士一家研究机构的会议邀请，主办方想让他们谈论一下机器学习能如何在他们的领域被滥用。

他们此前从未想过这种事。但转念一想，若要证明一下其实也很容易。

反转一下 AI 模型的逻辑即可

如前所述，研究者原本是将 AI 用于药物发现领域，而他们最关注的就是战用神经性毒剂 VX。

VX 是一种乙酰胆碱酯酶抑制剂。我们如果想活动身体，就要让神经元给肌肉发送信号，告诉它们该怎么活动，这种信号就是乙酰胆碱酯酶。

VX 能够抑制乙酰胆碱酯酶，阻止横膈膜和肺部肌肉的活动，从而麻痹肺部，置人于死地。

我们知道，训练 AI 模型需要大量的数据。历史上，人类曾经用很多类型的分子做过毒性实验，看它们是否会抑制乙酰胆碱酯酶。

所以，研究人员就建立了一个大型数据集，囊括了此前那些有实验记录的分子的结构及其毒性。这些数据全来自公共数据库。

利用这个数据集，他们创建了一个机器学习模型，该模型经过训练后，能学习到分子结构的哪些部分对其毒性很重要，哪些部分不重要。

然后，他们再给模型一些从未测试过的药物分子，模型就会预测新的分子是否有毒性。

这种方法能让他们非常快速地筛选出大量分子，并且找出那些被预测为有毒性的分子。

以前，他们筛选的有用分子是没有毒性的，但这次，他们需要筛选出有毒性的分子。

接下来一个关键步骤是让 AI 生成新的分子。为此，他们创建了一个新的生成模型。

他们给生成模型一大堆各种各样的分子结构，模型就能学习如何把分子组装到一起。然后，模型就可以生成各种新的分子。

研究人员通过评分函数告诉模型，他们想让它朝哪个方向发展：如果它生成的分子是他们想要的，就给它打高分。

为了配合这次会议的主题，研究者只需把 AI 模型的逻辑反转一下就可以了：这次他们给毒性分子打高分，而不是低分。

惊人的结果

令研究者吃惊的是，在内部服务器上运行不到 6 个小时，模型就生成了 4 万个分子，这些分子的得分都在期望的阈值内。

一方面，AI 设计出了 VX 以及其他已知的战用化学毒剂。

另一方面，AI 还设计出了很多新的分子，那些分子看起来也很合理。而且根据半数致死剂量（LD₅₀）数值，AI 预测它们的毒性甚至比 VX 还要强。

根据 AI 预测，很多模型生成的新分子的毒性比 VX 更强（右侧直方图显示了 VX LD₅₀的截止点）。右上角为 VX 的化学结构。

图/Fabio Urbina, etc.

这个结果出乎他们的意料，因为训练 AI 的数据集并不包含这些神经毒剂。

尽管只是用 AI 预测，还没有实际验证，但即便仅有少量分子是有效的，绝对数量也不小，毒性也不容忽视。

AI 生成毒性分子的

门槛相当低

文章第一作者 Fabio Urbina 表示，他最担心的是 AI 生成毒剂太容易了——因为只要有网络和一台电脑就足够了。

如果你在网上搜索生成模型，能找到很多拼凑起来的免费的生成模型。

如果你搜索毒性分子数据集，也能找到大量的开源数据集。

然后，你要是还知道如何用 Python 编程、如何建立机器学习模型，就能很容易复制他们的实验。

所以说，对于这种 AI 技术的滥用，进入门槛非常之低。

当然也不是说毫无门槛。首先需要一些化学知识，毕竟，你要是对化学一窍不通，哪怕把上面的条件送到你手里，你最终得到的分子也不一定有什么作用。

另外，「把分子合成出来」也比较麻烦。不过，化学合成领域的监管不严。如果你发现了一些看起来像是战用化学毒剂的分子，并试图合成出来，监管部门有可能不干。

但全世界的化学合成公司太多了，只要某种毒性分子看上去不像战用毒剂，最终是有可能绕过监管的。

暂时没有很好的解决方案

既然 AI 滥用的门槛如此之低，首先想到的就是防止这种滥用。但研究者认为，目前还没有很好的解决方案。

他们建议学术讨论会应该积极促进工业界、学术界和政策制定专家，就这方面的影响进行对话。

他们还希望大学能加大对理科生的道德教育力度，并将教育范围扩展到其他学科，尤其是计算机专业的学生，让他们在职业生涯早期阶段就意识到 AI 技术有滥用的可能，并了解滥用能够产生的影响。

此外，他们还从 OpenAI 得到了一些启发。OpenAI 发布过一个叫 GPT-3 的语言模型，你可以随时免费使用它，前提是你必须从他们那儿得到一个特殊的访问令牌。不论何时，OpenAI 都可以切断你对该模型的访问权限。

研究者设想，对于潜在的毒性分子模型，类似于访问令牌的东西可能观点儿用。虽然科学研究崇尚开放交流、开放获取、开放数据共享，「限制访问」与这个理念背道而驰，但这么做至少可以知道是谁在试用这方面的资源。

编译 &整理：lwy

参考文章

1、Nature：Dual use of artificial-intelligence-powered drug discovery

2、The Verge：AI suggested 40,000 new possible chemical weapons in just six hours