ICLR：深度学习为何有效及其局限性解析

在今年的国际学习表征会议（ICLR）上，宾夕法尼亚大学放射学与电气工程教授、某机构学者 René Vidal 作为高级领域主席，负责监督评审团队评估会议论文提交。Vidal 表示，其团队重点关注的主题是深度学习理论。

"虽然表示学习和深度学习已取得惊人成功，并在许多应用领域产生显著成果，但深度网络仍是黑箱，"Vidal 解释道。"深度网络设计仍是门艺术，每个数据集都需要大量试错。因此，深度学习数学领域的目标是通过定理和数学证明来保证深度网络的性能。"

双下降现象

Vidal 指出，深度学习理论中近期备受关注的两个主题之一是双下降现象。传统 AI 观点认为，神经网络规模需根据问题复杂度和训练数据量精心调整。网络过小无法学习数据复杂模式，过大则可能直接记忆训练集答案——这是过拟合的典型情况——导致无法泛化到新输入。

然而，近年来多篇论文报告了令人惊讶的结果：当网络持续增大时，错误率会再次下降。这就是双下降现象，其成因尚不明确。

"错误率随模型规模增大先降后升，在达到插值极限时达到峰值，此时训练中可实现零误差，因为网络已足够大以记忆数据，"Vidal 解释。"但此后测试错误率再次下降。已有许多论文试图解释这一现象。"

神经正切核

Vidal 提到的另一个趋势是基于神经正切核的新分析方法。"过去（如 2000 年）我们使用核方法进行学习。核方法通过固定嵌入将数据映射到高维空间，在该空间中使用经典线性学习技术。深度学习可视为学习这种嵌入——将输入数据映射到高维空间。这正是表示学习。"

"神经正切核机制——一种初始化方式、网络类型和训练模式——在此机制下可用核近似深度网络的学习动态，从而使用经典技术理解其泛化能力。该机制虽不现实（网络无限宽或训练中权重变化极小），但在这种特殊设定下问题更易理解。当前趋势是摆脱这些不现实假设，承认问题本质困难：训练中确实需要权重变化，否则学习效果有限。"

表示学习的局限

作为曾在霍普金斯大学任教 20 年的生物医学工程教授，Vidal 深刻认识到表示学习的局限性。他指出，在某些数据或标签稀缺的领域（如医学），领域知识仍不可或缺。

"如果团队全是数据科学家和机器学习专家，他们可能认为只需更大网络和更多数据，"Vidal 说。"但正如某机构需要从客户角度逆向思考那样，解决实际问题的方法并不总是更多数据和标注。"

更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）或者 我的个人博客 https://blog.qife122.com/公众号二维码

办公AI智能小助手