#40 AI-001-火爆全网的聊天机器人 ChatGPT 能做什么

目录

0、 前言

11 月 30 日，OpenAI 推出了一个名为 ChatGPT 的 AI 聊天机器人，可以供公众免费测试，短短几天就火爆全网。

从头条、公众号上多个宣传来看，它既能写代码、查 BUG，还能写小说、写游戏策划，包括向学校写申请书等，貌似无所不能。

本着科(好)学(奇)的精神，抽了一些时间对 ChatGPT 进行了了测试验证，并且梳理了一下 ChatGPT 为什么能这么"强"。

最终，关于 ChatGPT 本次会分为两篇：

《AI-001-火爆全网的聊天机器人ChatGPT能做什么》

《AI-002-理解ChatGPT的技术逻辑及演进》

由于笔者并没有专业学过 AI，所以短时间内就不会再有 AI-003 类似更深入到技术的篇章了，了解 001、002 就已经超出普通吃瓜群众的范畴了。

1、ChatGPT 的"长项"

先列举一些 ChatGPT 的"长项"，也就是做得比较好的内容。虽然并不意味着 ChatGPT 在这些领域都是专家，而是 ChatGPT 会显著超出过往那些更像是"弱智"的往界 NLP-AI。

1.1、设计剧情游戏

设计一个剧情游戏吧，主角叫罗小旺，剧情要跌宕起伏，最后通过智慧拿到了传奇装备，打赢了大 BOSS。讲得细致一些，希望能超过 3000 字

1.2、做一个活动策划

A 公司是一个连锁蛋糕店，圣诞节马上到了，希望做一个活动策划，能以较少的预算，在城市内邀请到更多的新客户进行采购，可以给新客户相应的活动优惠，以及给老客户一些邀请激励。现在 A 公司让小明来制定这个活动策划，希望你能帮小明制定完成这个策划

假设 A 公司的平均客单价为 20 元，每日销售为 1 万份。现在公司计划出 5 万元进行该活动策划，能具体描述下应该如何设计吗？给点灵感

1.3、帮忙写一段代码

希望能写一段代码，能够遍历腾讯云的虚拟主机并打印出来。开发语言为 golang

1.3.1、给代码解决编译问题

将上面的代码复制出来 ，发现无法编译通过。于是直接问

你前面提供的简单示例代码，无法编译通过

结果发现 chatGPT 的上下文还是能关联上的。

1.3.2、继续解决编译问题

修改上面后，仍然报错。

于是将报错语句放进去，cvm.NewClient的参数不对。

接着，ChatGPT 收到后貌似是认识到了错误，于是提供了新的代码（未全截图）

1.3.3、遗留的编译问题

显然对于一些稍复杂的内容，ChatGPT 也不能保证其必然的正确性（从 002 中，我们会认识到这和它的技术逻辑有关）。

最终还会有下述错误undeclared name:cvm ，这里通过多种方式和 ChatGPT 沟通，它都无法理解正确的方案。

1.3.4、笔者修复编译 bug，运行成功

最终笔者手动解决了 cvm 的问题，编译并运行成功。

1.3.5、笔记按：过了 2 天重试之后，发现 ChatGPT 更新了答案

最新的答案已经可以直接编译通过，没有报错了。cvm 错误也如下图红框处进行处理。

1.4、帮忙写作

1.4.1、提供公众号思路

1.4.2、公众号提纲和结尾

1.5、设计广告

1.6、制定学习思路

1.6.1、如果想成为机器学习专家，我应如何学习机器学习？

1.6.2、要求列举具体书单

2、ChatGPT 的"短板"

从上面可以知道，如果一些没有唯一标准答案，可以按逻辑进行一定编造的问题，ChatGPT 其实讲得似模似样的几率还挺高的。

ChatGPT 容易出错的场景，反而可能是一些简单的问题。

2.1、古诗出处

2.1.1、一句错误的诗句，ChatGPT 会怎么回答呢？

发现错误的诗句，竟然也一本正经地回答了。

2.1.2、修改为正确的诗句 ，重新问

看这回答，有没有感觉像是一个 记忆错乱的人？

2.1.3、深挖原文出处

于是我对于 ChatGPT 所说的《长相思.其一》有了极大的好奇心，它到底长啥样呢？

真是一首神奇的诗，怎么看都多首诗的杂合体。

咋看都觉得是 ChatGPT 在训练的时候，学习资料里被下毒了。。

2.2、鸡兔同笼典型问题

2.2.1、鸡兔同笼，一本正经地算错了。。

鸡兔同笼，数头一共 20 个，数脚一共 56 只，请问鸡兔各几只？

一顿操作猛如虎，结果答案明显算错了。。8 只鸡，12 只兔子会有 64 只脚，明显不对。

2.2.2、重新尝试一下

2.3、年龄问题

2.3.1、小明到底几岁呢？

小明爸爸和小明加起来 37 岁。3 年后，小明爸爸比小明大 21 岁。请问小明今年几岁？请给出计算过程

2.3.2、再问一次，小明 5 年后几岁？

小明爸爸和小明加起来 37 岁。3 年后，小明爸爸比小明大 21 岁。请问小明 5 年后几岁？请给出计算过程

3、用魔法打败魔法？

从上面 1、2 我们可以发现，ChatGPT 的长处是生成看上去貌似正确的文本，但是并不负责文本的正确性。

那么这就引发了一个问题，如果某个问题是 ChatGPT 生成的，就有可能会出现：

引经据典，但是大量错误。

怎么办呢？ 用魔法打败魔法？

3.1、如何识别 ChatGPT 生成的答案？

3.2、如何检测一段文本是否是 ChatGPT 等 AI 生成的？

这是一个 v2ex 上一个较为火热的问题，https://www.v2ex.com/t/900403 《如何检测一段文本是否是 ChatGPT 等 AI 生成的？》

再回看一下 v2ex 社区里其中一个贴子（见下图），估计就是当时由 ChatGPT 回答的。。

4、小结

总的来说，ChatGPT 确实是实现了一个巨大的效果进步，很是惊艳。

从短期来看，我们不用过度神化 ChatGPT 的能力，它还是有明显短板，答案也并不总是正确，甚至有时会一本正经地胡说八道，给出错误的答案，产生误导。

但是从中长期来看，我们也要对 NLP-AI 的发展充满信心，或许从今年开始，Chat 系列就会大行其道，再过一些年，也许真正可用的个人语音助理就有可能诞生。

欢迎关注同名微信公众号（非典型产品经理笔记）。