初识大热的 ChatGPT 的几点思考|社区征文

ChatGPT 成为火爆全球的 AI 应用，这个聊天机器人诞生 2 个月用户就破亿，其强大的能力超乎人们的想象，似乎为人工智能的发展打开了一扇新的大门。

其实人工智能一直发展了很多年，大概分为两类功能型和拟人型。同时又如下两个阶段：

1. 传统 AI 阶段

• 功能型：主要基于规则，比如苹果的语音助手 Siri；谷歌的搜索引擎，在 2014 年支持语音搜索功能。

• 拟人型：主要基于搜索，比如微软的智能机器人小冰，定位为情感陪伴型的聊天机器人，以检索为主，而生成性的内容占比成分很少。

2. 大规模阶段

• 功能型：基于生成式大模型，比如 ChatGPT，去年 11 月 30 日发布，火速占领各种热搜，用户反响爆棚；Claude，今年 1 月发布测试，内测的对比与 ChatGPT 旗鼓相当。

• 拟人型：也是基于生成式大模型，比如 GooGle LaMDA 语言模型，基于 Transformer 架构，在对话方面接了很多训练，有开放域对话的能力，在生成质量、安全性，有根据性上均有明显提升；Meta Blender 语言模型，参数在 100 亿左右，具有情感、个性、知识融合能力，拟人对话能力；Character 智能聊天机器人，基于神经语言模型构建，致力于打造更具有角色特征的聊天机器人。

那么 ChatGPT 最核心的技术是什么呢？

• 指令学习，构造各种任务的指令数据并用于微调模型，使模型拥有强大的人物泛化能力。

• 基于人类反馈的强化学习，从人类的反馈中获得学习，通过人类的偏好训练奖励模型，使用 PPO 算法优化策略模型，将模型的输出结果对齐至人类偏好。

核心的技术造就了 ChatGPT 有如下突出特点：

• 遵循指令能力出色

• 多轮交互中能很多地遵从指令，例如对于之前的指令修改、补充。

• 可以轻易地使用提示让模型完成各种任务，例如角色对话，文字游戏等。

• 对话历史建模能力突出

• 在多轮交互中具有很强的长程记忆能力，能够完成对很早轮次指令的修改。

• 多语言能力强

• 支持各类主流语言、如英语、日语、汉语等，并且在英语之外的语言上没有明显的性能下降。

• 回复信息性强

• 倾向于生成较长的回复，回复中包含很多相关信息。

• 安全性好

• 安全的漏洞比较少，并且还在持续优化。

下一代对话预训练模型将普遍进入千亿量级，可能会带来如下的改变：

• 数据重要性，高质量的对话数据将显著提升对话预训练模型的交互能力。

• 算力重要性，这些大量的数据计算背后都需要数以亿万级的算力支撑，谁拥有更多算力，谁训练的模型就越快越强大。

• 标准重要性，检索、记忆、计算等可插拔的外部模块将成为标准配件。

• 场景重要性，对话模型的更多落地应用场景，把它转化成有用的工具。

相信以后最终的发展是把功能+拟人整合在一起，推出更强的人工智能，来提高人类的生产力，也会带来更多的失业，这真是一把双刃剑哈。