编程的终结；展望 2023 年 AI 系统方向；AI 的下一个阶段
1. OpenAI掌门人Sam Altman：AI的下一个发展阶段
各种 AI 工具已显现出巨大的日常应用潜力，可以实现人类的各种想法，改善人类的工作方式，比如由 Stability.ai 发布的开源 Stable Diffusion 模型，Microsoft 和 OpenAI 联合打造的 AI 编程工具 Copilot，OpenAI 开发的语言生成模型 GPT-3 和图像生成平台 DALL-E 以及爆火的聊天机器人模型 ChatGPT。
肩负着宏伟使命且极富远见的 Altman 就曾预言：AI 即将迎来下一个发展阶段。如今，大型语言模型越来越先进，也出现了可以实现文本-图像相互转换的多模态模型，一些 AI 应用还可令科学家如虎添翼。在他眼中，AI 是一个可以孵化出无数工具，推动各行各业前进的基础平台。
链接：
https://mp.weixin.qq.com/s/Ek5Xyj2gg-sA8ZIepx0PKA
2. 2022 年最值得关注的十篇论文
年关将至，威斯康星大学助理教授 Sebastian Raschka 盘点了 2022 年他最看好的十大论文。
“2022 年 1 月，扩散模型第一次吸引了我的眼球。当时我判断到将会有某些大事发生，然而却未曾预料到几个月后会出现什么：DALLE-2、Imagen、Stable Diffusion 以及其它许多模型。对于大型语言模型来说，2022 也是非常重要的一年，最近面世的 ChatGPT 更是锦上添花，抢尽了风头。”
链接：
https://mp.weixin.qq.com/s/Atev3LfYADNiW1jhB1Jwrw
3. 人工智能 300 年：LSTM 之父详解现代 AI 和深度学习发展史
最近，LSTM 之父 Jürgen Schmidhuber 梳理了 17 世纪以来人工智能的历史。在这篇万字长文中，Schmidhuber 为读者提供了一个大事年表，其中包括神经网络、深度学习、人工智能等领域的重要事件，以及那些为 AI 奠定基础的科学家们。
链接：
https://mp.weixin.qq.com/s/TfwA4x8dU_rMhC0fuE-xYw
4. 编程的终结
作者 Matt Welsh 相信“编写程序”的传统想法正在走向终结，事实上，除了非常专业的应用程序之外，我们所知道的大多数软件将被经过训练而不是编程的人工智能系统所取代。在需要“简单”程序的情况下（毕竟，并非所有内容都需要在 GPU 集群上运行数千亿个参数的模型），这些程序本身将由 AI 生成，而不是手动编码。
链接：
https://mp.weixin.qq.com/s/EYWR1o-CoDTBvqgIGOl5Ww
5. ChatGPT 的一小步，NLP 范式转变的一大步
在此前《ChatGPT进化的秘密》一文中，本文作者剖析了 ChatGPT 的技术路线图。而在 ChatGPT 发布前，作者详细介绍了大模型的突现能力、以及它在 NLP/ML 任务中的潜在优势，以此来探讨大模型所带来的“潜在的”范式转变。显然，后来 ChatGPT 所展现出的强大能力，将这种转变的步伐扎实地推进了一大步。
https://mp.weixin.qq.com/s/g_zKgURavorkvS7FoOVg3g
6. 热议：2023 年 AI 系统方向会有哪些新的进展？
2023 年，讨论新的一年 AI 系统方向会有哪些新的进展，包括硬件、软件，模型优化、系统优化，单设备优化、scale-out 优化。
@齐俊：AI System 很大程度上是由 AI workload 来推动向前发展的，讲一个发展方向：提高被集成的能力。
@杨军：关注了最近非常 hot 的 ChatGPT，除了了解从模型角度这个技术所能带来的增益，以及其背后的技术渊源，也在结合自己的从业角度思考支撑这类模型技术演化以及更进一步支撑未来 AI 领域模型演化，会对 AI 系统提出哪些要求。
链接：
https://www.zhihu.com/question/576114739/answer/2826097569
7. 对比PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题
最近，作者在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，他开始学习 PyTorch 2.0。在业余时间，我也在跟着 Alpa 作者学习 JAX 和 XLA。
如今回顾这些技术，他发现它们的关注点似乎都是如下两个问题：1. 包含自动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；2.异构计算，CPU 负责控制流，GPU/TPU 负责张量计算和集合通信。
链接：
https://mp.weixin.qq.com/s/BfgirrHFDNpTxbhCz1qqlg
8. 如何看待PyTorch 2.0（TorchDynamo）？
Graph capture 把用户 Python 写的模型代码变成 graph，是一切编译的根基。而 PyTorch 在试了这么多方案之后似乎已经锁定 TorchDynamo 作为 graph capture 的未来方向了，所以写一点关于 TorchDynamo 的内容，主要是解释到底为什么要做这个东西。
链接：
https://mp.weixin.qq.com/s/VM3tPbmxHVOBWDvoo2U4hQ
9. TorchDynamo初探：Python ByteCode的动态修改
本文对 Python 的执行和 TorchDynamo 的主要原理做了初探，主要是自定义 Eval Frame 的实现技巧。其它相关的 Python ByteCode 标准，ByteCode 到 FX Graph 的转换，ByteCode 的改写等内容还没涉及。
链接：
https://mp.weixin.qq.com/s/6eK9wtUU_jpuJTWfXdW6xg
10. 聊聊 PyTorch 2.0（Inductor）
年末在疫情的笼罩下，人工智能领域发布了不少新进展。最火的当然是 AIGC(ChatGPT, Diffusion Models)，不过 PyTorch 2.0 也赚足了眼球。
借此机会来聊聊 PyTorch 2.0 里面大家比较关注但是还没有足够重视的部分 TorchInductor：Inductor 的进展速度不容小觑，它仅在计划发布后短短的几个月便在 huggingface, timm_models, torchbench 等诸多模型上面取得 1.6~2.2 倍的加速(Nv A100 GPU)。那么 Inductor 取得高效迭代和性能收益依靠的是什么？
链接：
https://zhuanlan.zhihu.com/p/595996564
11. 如何写一个深度学习编译器？
编译器本质上是一种提高开发效率的工具，将高级语言转换为低级语言（通常是二进制机器码），使得程序员不需要徒手写二进制。转换过程中，首要任务是保证正确性，同时需要进行优化以提升程序的运行效率。
传统意义上的编译器的输入通常是某种高级语言，输出是可执行程序。在实际工作中接触到了深度学习编译器开发，其设计思想与传统编译器非常类似，所以本文以深度学习编译器的开发、结合我们实际开发的深度学习编译器 MegCC 为例，来说明如何写一个编译器。
链接：
https://zhuanlan.zhihu.com/p/594619136
12. GPGPU 架构，编译器和运行时
链接：
https://zhuanlan.zhihu.com/p/592975749
13. CUDA笔记（二）：解析OneFlow BatchNorm相关算子实现
在 CUDA 优化中常见的一个技巧是，将一些 ElementWise 的算子融合到之前的计算密集型算子如卷积、矩阵乘等。在 OneFlow 中，针对上述两种情况并且 cudnn 无法 fuse 时分别进行了 fuse 和优化，本篇文章就来解析一下这里的代码实现，体会其中的 CUDA 优化技巧。
链接：
https://mp.weixin.qq.com/s/NbSs8Rxu3-CebJpoHN_D_w
14. YOLOv5全面解析教程②：如何制作训练效果更好的数据集
本文主要介绍 One-YOLOv5 使用的数据集格式以及如何制作一个可以获得更好训练效果的数据集。
链接：
https://mp.weixin.qq.com/s/t4Ppf2qokpClRwCN52zF-g
15. 1 月 12 日直播｜机器之心“科技年会”之 AIGC 技术应用论坛
作为内容生产效率工具，AIGC 将在各领域各场景催生怎样的范式变化？进入商业化阶段，图文多模态大模型的技术能力边界及未来发展可能？作为 AI 基础设施的预训练模型，及其安全可控、开源普惠……1 月 12 日，「AIGC 技术应用论坛」将深入分享 AIGC 相关技术最新进展，以及领域企业前沿实践。「AIGC 技术应用论坛」全日程已正式公布。
链接：
https://mp.weixin.qq.com/s/8d_ANUSe5CvLUb7r67lIow
其他人都在看
欢迎 Star、试用 OneFlow 最新版本：https://github.com/Oneflow-Inc/oneflow/
版权声明: 本文为 InfoQ 作者【OneFlow】的原创文章。
原文链接:【http://xie.infoq.cn/article/33f9b856792b0e41bd8f6e5c3】。文章转载请联系作者。
不至于成为世界上最快的深度学习框架。 2022-03-23 加入
★ OneFlow深度学习框架：github.com/Oneflow-Inc/oneflow ★ OF云平台：oneflow.cloud
评论