写点什么

揭秘 RLHF;可商用开源 LLM 列表;领域编译器的前世今生

作者:OneFlow
  • 2023-05-17
    重庆
  • 本文字数:3116 字

    阅读完需:约 10 分钟

揭秘RLHF;可商用开源LLM列表;领域编译器的前世今生

1. GPT创造者:第二次改变AI浪潮的方向

 

那么,从推动这一系列变革的科学家角度,他究竟如何看待当先 ChatGPT、GPT-4 模型的发展?他对 AI 的思考和坚定信念从何而来?OpenAI 下一步研究方向是什么?他又如何看待 AI 对社会的影响?


链接:

https://mp.weixin.qq.com/s/rZBEDlxFVsVXoL5YUVU3XQ

 

2. 科普:人类反馈的强化学习(RLHF)

 

ChatGPT 中的 RLHF 究竟是如何运作的?它为什么有效?

 

链接:

https://huyenchip.com/2023/05/02/rlhf.html

 

3. ChatGPT作者John Schulman:通往TruthGPT之路

 

大型语言模型(LLM)有一个众所周知的“硬伤”——它们经常会一本正经编造貌似真实的内容。作为 ChatGPT 项目的主要负责人以及 OpenAI 强化学习团队的领导者,John Schulman在最近的 Berkeley EECS 会议上系统性地分享了 OpenAI 在人类反馈的强化学习(RLHF)方面所做的工作,以及语言模型的幻觉等亟待解决的问题,同时也介绍了解决这些挑战的潜在思路。

 

链接:

https://mp.weixin.qq.com/s/snS2ty4x7gJ9QoMxWU0_Lw

 

4. 为什么ChatGPT用强化学习而非监督学习?

 

随着 ChatGPT 等大型语言模型的发布,人们对“RLHF 训练(即基于人类反馈的强化学习训练)”的重要性进行了诸多讨论。在训练语言模型方面,我一度困惑于为什么强化学习比从演示中学习(也称为监督学习)更好,难道从演示中学习(或根据语言模型术语中的“指令微调”,学习模仿人类写的回答)还不够?

 

链接:

https://mp.weixin.qq.com/s/4USDakdomupWuwwhex6fMg

 

5. 谷歌研究科学家:ChatGPT秘密武器的演进与局限

 

此前,ChatGPT负责人John Schulman介绍了 RLHF 想法的起源,关键在于他们在语言模型中应用强化学习,使用人类反馈去定义奖励函数。此外,OpenAI 的 RLHF 所使用的诸多技术也是基于前人研究基础上组合而成的成果,其中就包括 Natasha Jaques 的工作。

 

链接:

https://mp.weixin.qq.com/s/HsJmaL3acV2yZJGd2npcLg

 

6. Constitution AI:训练大型语言模型的最佳方法?

 

语言模型如何决定它会处理哪些问题以及它认为不合适的问题?为什么它会鼓励某些行为而阻止其他行为?语言模型可能具有哪些“价值观(values)”?

 

这些都是人们努力解决的问题。Anthropic 最近发表的关于“Constitution AI”的研究认为,这种方法为语言模型提供了显式的价值观,而不是通过大规模人类反馈隐式确定的价值观。这不是一个完美的方法,但它确实使人工智能系统的价值更容易理解,也更容易根据需要进行调整。Claude 模型就使用 Constitution AI 进行训练,从而让其更安全。Anthropic 认为,这种方法优于用于训练 ChatGPT 等系统的其他方法。

 

链接:

1. https://www.anthropic.com/index/claudes-constitution

2. https://arxiv.org/abs/2212.08073

 

7. 向量嵌入:AutoGPT的幻觉解法?

 

此前,OpenAI首席科学家Ilya Sutskever谈到,他希望通过改进强化学习反馈步骤来阻止神经网络产生“幻觉”。不过,向量嵌入(vector embeddings)看上去是解决这一挑战的更为简单有效的方法,它可以为 LLM 创建一个长期记忆的数据库。通过将权威、可信的信息转换为向量,并将它们加载到向量数据库中,数据库能为 LLM 提供可靠的信息源,从而减少模型产生幻觉的可能性。

 

链接:

https://mp.weixin.qq.com/s/Hx52fL9hN5eLA13qJv-VCQ

 

8. 大语言模型(LLM)微调技术笔记 

 

在预训练后,大模型可以获得解决各种任务的通用能力。然而,越来越多的研究表明,大语言模型的能力可以根据特定目标进一步调整。这就是微调技术,目前主要有两种微调大模型的方法指令微调、对齐微调,OpenAI 发布的 ChatGPT 主要应用了微调技术,从而获得了惊艳全世界的效果。

 

链接:

https://github.com/ninehills/ninehills.github.io/issues/92

 

9. 大型语言模型综述

 

在这篇综述中,研究者们介绍了大型语言模型的背景、主要研究方向、主流技术以及最新进展。他们特别关注 LLM 的四个主要方面,即预训练、适应性精调、应用和能力评估。此外,他们还总结了 LLM 的现有资源,并讨论了未来发展方向等问题。


链接:

https://arxiv.org/abs/2303.18223

 

10. 那些开源的 LLM 和数据集、研究洞见

 

开源的力量正在源源不断地影响着整个 AI 社区,无论是 LLM 还是数据集。本文作者 Sebastian Raschka 对相关资源进行了汇总,并分享了自己的洞见。


链接:

https://mp.weixin.qq.com/s/VleZkQT6Vga7vqZP8pvgQQ

 

11. Open LLMs:可供商业使用的开源大型语言模型列表

 

本文列出的 LLM 均已获得商业用途许可(基于 Apache 2.0、MIT、OpenRAIL-M)。

 

链接:

https://github.com/eugeneyan/open-llms

 

12. 羊驼系列大模型和 ChatGPT 差多少?详细测评后,我沉默了


总的来说,该测试得出的结论是:MPT 还没有准备好在现实世界中使用,而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品。


链接:

https://mp.weixin.qq.com/s/Gg-zbhzJcqmU0guSSvWpXg

 

13. 大型语言模型的推理演算

 

本文详细阐述了大型语言模型推理性能的几个基本原理,不含任何实验数据或复杂的数学公式,旨在加深读者对相关原理的理解。此外,作者还提出了一种极其简单的推理时延模型,该模型与实证结果拟合度高,可更好地预测和解释 Transformer 模型的推理过程。


链接:

https://mp.weixin.qq.com/s/2wfUQNsH4IRuJEF39mebUQ

 

14. Transformer模型的基础演算

 

Transformer 语言模型的许多基本重要信息可以通过简单计算得出。不幸的是,这些计算公式在自然语言处理(NLP)社区中并不广为人知。AI 非营利研究组织 EleutherAI 收集整理这些公式,并介绍这些公式的来源和重要性。


链接:

https://mp.weixin.qq.com/s/0Er0UOk6Wdky-0gzeQxK0g


15. 机器学习系统的九种设计模式

 

设计模式是针对软件工程中常见问题的可重复使用、经过时间考验的解决方案。他们将最佳实践和过去的知识进行提炼,成为从业者的实用建议,并提供共享词汇表,以便有效协作。本文作者分享了在机器学习系统中的主要设计模式。


链接:

https://eugeneyan.com/writing/more-patterns/

 

16. 编译器大佬 Chris Lattner 全新编程语言「Mojo」:兼容 Python 核心功能

 

Mojo 结合了 Python 的可用性与 C 的性能,释放了 AI 硬件无与伦比的可编程性和 AI 模型的可扩展性」—— 它与 Python 一样易于使用,但具有 C++和 Rust 的性能。此外,Mojo 提供了利用整个 Python 库生态系统的能力。


链接:

https://mp.weixin.qq.com/s/EguqTuzJwehfWm7UqMtbdw

 

17. 领域编译器发展的前世今生

 

近年来,随着 GPU 和 DSA 架构在不同领域的广泛应用,特别是 AI 系统相关技术的飞速发展,对于编译器的需求越来越强烈。编译器已经从一个相对小众的研究领域,变为学界和业界都高度关注并大量投入的方向。与此同时,编译器的开发人员也从芯片研发团队开始延伸到更上层的软件层面。在很多领域的软件系统中,都开始引入编译技术来实现提升开发效率或运行效率等目标。本文从领域编译器的角色着眼,来讨论领域编译器发展的前世今生。

 

链接:

1. https://mp.weixin.qq.com/s/eiQ6dRgDxAR7zkuWCBPfqg

2. https://mp.weixin.qq.com/s/Z6qiwPDevG6mF29TWjOb4g

 

18. OneFlow源码解析:Eager模式下的设备管理与并发执行

 

通过这篇笔记,希望能初步了解 OneFlow 在 Eager 模式下对设备的管理方式、设备执行计算的过程以及如何充分利用设备计算能力。这里的设备主要指类似 CUDA 这样的并行计算加速设备。

 

链接:

https://mp.weixin.qq.com/s/RMF38IlkRcxza6A8W6fG-w


其他人都在看


欢迎 Star、试用 OneFlow 最新版本:https://github.com/Oneflow-Inc/oneflow/

发布于: 刚刚阅读数: 3
用户头像

OneFlow

关注

不至于成为世界上最快的深度学习框架。 2022-03-23 加入

★ OneFlow深度学习框架:github.com/Oneflow-Inc/oneflow ★ OF云平台:oneflow.cloud

评论

发布
暂无评论
揭秘RLHF;可商用开源LLM列表;领域编译器的前世今生_人工智能_OneFlow_InfoQ写作社区