ChatGPT 也 BUG？带你走进 ChatGPT 背后的网络基础设施

ChatGPT 是 OpenAI 公司开发的一款聊天机器人应用，自 2022 年 11 月推出以来以迅雷不及掩耳盗铃之势火爆全球。ChatGPT 不仅可以模仿人类对话，还可以创建音乐、电视剧、童话故事和学生论文，甚至是编写和调试计算机程序。

截至 2023 年 1 月，ChatGPT 的用户已超过 1 亿，成为迄今为止增长最快的消费级应用程序。全球海量用户的热情试用不仅让 OpenAI 公司的市场估值迅速飙升到 290 亿美元，但是也给后台服务的管理和维护带来了一些困扰。

有网友表示当问 ChatGPT“中国足球如何才能捧起大力神杯”等问题时，ChatGPT 的回答窗口一片空白。CNBC 在 2022 年 12 月 15 日的报道中写道 the service still goes down from time to time(服务时常中断)。难道 ChatGPT 也 BUG？

今天小编就拿出我们的谛听从网络性能及用户体验监控平台对 ChatGPT 来一个基础设施大摸底，来验证下 ChatGPT 的响应速度、性能如何，它又是如何满足全球大量用户同时使用的？

下面就谛听对 ChatGPT 相关产品提供对外访问服务的基础设施进行详细梳理，OpenAI 目前提供的服务主要有以下四个：

公司官网：https://openai.com提供 OpenAI 公司研究情况、相关产品、收费情况的介绍说明，并提供了 API 文档和相关产品的入口。

api 服务：https://api.openai.com提供 API 访问服务

服务平台：https://platform.openai.com提供用户登录、API 文档说明、常用示例等功能

ChatGPT:https://chat.openai.com提供 ChatGPT 产品服务

我们首先使用查询一下 openai 的权威域名服务器：

$ nslookup -type=NS http://openai.com

Non-authoritative answer:

http://openai.com nameserver = ns2-02.azure-dns.net.

http://openai.com nameserver = ns3-02.azure-dns.org.

http://openai.com nameserver = ns4-02.azure-dns.info.

http://openai.com nameserver = ns1-02.azure-dns.com.

从名称上可以看出来它是由微软 Azure 云平台提供的 DNS 解析服务，然后我们使用 IP 定位服务对这四台域名解析服务器的 IP 进行定位，发现它们都属于 AS8086 自治系统，位于美国微软公司的云网络中。

接下来，我们在谛听系统中对 OpenAI 相关的服务进行监测：

ChatGPT 监控

我们从位于全球各地的 10 个城市中对 ChatGpt 的服务页面进行访问，响应的服务器 IP 有两个 104.18.2.161、104.18.3.161，它们同样属于 Cloudflare 公司，并且使用了 Cloudflare 提供的 CDN 加速服务。

网络层面上，从全球各地访问都是比较顺畅的，详情如下图所示：

但是，在应用层面上，ChatGPT 不仅会对访问者的 IP 进行限制，还会对用户的访问环境进行限制。在用户环境限制上，不允许使用自动化工具，比如 Selenium 进行访问，在 IP 限制方面，无法从中国大陆、中国香港、中国台湾以及俄罗斯等地区访问。访问界面如下所示：

官网监控

我们在谛听系统中从全球 12 个不同的城市发起了对 openai 官网的监控，响应的服务器 IP 至少有 8 个，比如 13.107.238.46、13.107.238.59。通过对这些 IP 进行定位，发现这些服务器都位于美国微软公司的 Azure 云网络中，另外在 HTTP 响应头中也带有 X-Azure-Ref 标识，这也说明了http://openai.com是通过 Azure 云平台来提供服务的，另外由于响应 IP 与请求位置有关，所以推测是使用了 Azure 中的 CDN 服务。

从探测机到http://openai.com服务器的路径图如下所示：

可以看到在网络层面上全球各地都可以访问 openai 官网，但国内访问时延迟明显稍高，在 70ms 左右。另外下图说明了在 Web 服务层面上，全球各地也都是可以访问的。

API 服务监控

我们同样从 12 个城市对 openai 的 api 接口服务发起监测，响应的服务器 IP 只有一个 52.152.96.252，它属于微软 Azure 云网络，位于美国圣安东尼奥市。猜测是由于 API 服务的用户量比较少，所以并没有部署 CDN 加速服务。

从全球各地的探测机到 api 服务器的丢包、时延、抖动如下图所示：

可以看到网络是比较稳定的，丢包很少。但从美国以外的国家访问时时延是比较高的，大概在 150~200ms。

在接口服务层面上，在全球多个城市都可以正常调用。并没有限制访问。

平台监控

针对http://platform.openai.com服务，我们从全球 12 个城市的探测机发起监测，可以看到响应的服务器 IP 只有两个 104.18.1.104 、104.18.0.104。对这两个 IP 进行定位查询，发现它们位于美国，属于 Cloudflare 公司，openai 在这里使用了 Cloudflare 提供的负载均衡功能。

在下图的网络路径中可以看到，从全球各地到 Cloudflare 中的服务器的时延都是比较低的(50ms 以内)，所以推测它可能使用了 Cloudflare 提供的 CDN 加速服务。

在 web 服务层面上，位于全球各地的探测机都可以正常访问http://platform.openai.com服务中的功能。

上层 AS 拓扑分析

在 AS 层面上，openai 相关服务主要位于微软的 AS8075 以及 Cloudflare 的 AS13335。

AS8075 中具有 196 个互联网交换点，IPv4 前缀有 349 个，IPv6 前缀有 23 个。BGP 对等 AS 有 386 个，主要如下图所示：

相关 AS 拓扑图如下所示：

AS13335 中具有 285 个互联网交换点，IPv4 前缀 1777 个，IPv6 前缀 1355 个，与其构成 BGP Peer 关系的 AS 共有 1264 个，相关 AS 的拓扑结构如下图所示：

总结

通过谛听的检测结果可以看到 OpenAI 的 ChatGpt 服务目前主要是通过 Cloudflare 的 CDN 加速服务来向全球各地的用户提供访问服务的，不过，比较遗憾的是并没有对中国地区开放。其他的诸如官网和 API 等服务则通过微软的 Azure 云平台对外提供服务，并且使用 Azure 的 DNS 解析服务进行 OpenAI 的域名解析。通俗的讲，ChatGPT 的 API 响应速度相对比较稳定，丢包率低。

截至目前为止，关于 ChatGPT 中断的相关报道已经越来越少，这也说明 ChatGPT 在基础设施服务上做的越来越完善了。

随着微软加大对 OpenAI 的投资，微软作为 OpenAI 的主要股东及首选商业合作伙伴，并且拥有 GTP-3 的独家授权，未来 Azure 云平台可能会托管 openai 更多的相关产品和服务。此外，随着 ChatGPT API 的衍生产品越来越多，其 API 服务的负载也会越来越高，估计很快就会采用 CDN 提供全球加速服务。

所以 ChatGPT 的空白和沉默很有可能是大家的提问过于离谱,于是它选择了此时无声胜有声。

但是对于 ChatGPT 火爆最终还是回归到了 AI 是否会代替人类这个永恒不变的话题。以目前的情况来看，ChatGPT 比起以往的 AI 确实是有一定的提升，只要问题描述精准，可以帮你写作文、做表、写诗等等。

只是现实往往比较复杂，例如甲方需要的五彩斑斓的黑、ChatGPT 出了七八版方案之后领导表示还要第一版，字再大点等情况，很容易把 ChatGPT 的 CPU 干烧啊....

现阶段的 AI 能否代替人类，结果显而易见。