​

  前言

        2023 年被广泛认为是人工智能大模型的元年。这一年，基于大规模数据训练的 AI 模型，如 OpenAI 的 GPT-4 和其他类似的模型，取得了显著的突破。这些模型不仅在自然语言处理、图像生成和语音识别等领域表现出色，还在医疗、金融、教育等行业展现了广泛的应用前景。

视频讲解链接

下面是调用 OpenAI 的 Gpt3.5 模型的案例截图：

        然而好景不长，OpenAI 最近已不在支持中国区的服务，在输入+86 的手机号之后，直接提示 OpenAI 的服务不提供给此区域使用。

        面对如此恶劣的行为，我们也应该居安思危，我们自己何不去获取大量的高质量数据，来训练自己的大模型呢？为此我们今天探讨下如何使用亮数据代理去获取大模型训练所需的数据。

1.训练大模型的过程

1.1 确定目标

        训练大模型之前，我们可以为大模型寻找一个领域。假如我们需要西方历史大模型，就需要找寻西方历史相关的资料。

1.2 确定代理

        其次我们需要确定一个稳定靠谱的代理，正好亮数据是一家全球 IP 代理资源服务商，提供丰富的动态 IP 和静态住宅 IP 资源。通过使用亮数据的代理服务，我们可以模拟某个特定区域的真实用户访问，有效隐藏我们的 IP，从而保护我们的电脑和数据安全。

1.3 数据抓取

        下一步我们通过亮数据代理去获取大模型所需的西方历史数据，可以使用静态住宅 IP，去模拟真人行为，既可以 24 小时不间断作业，也可以有效的隐匿我们的真实信息。

1.4 数据清洗

        最后通过结合专家知识、大数据和 AI，实现一键数据清洗，其中包括数据去重、特殊字符过滤、俚语转换等，基于模型反馈对数据清洗质量进行评估。

        整理好数据存入数据库，再利用语言模型对文本分段，自动生成和标注指令数据，形成有效的向量知识库。

2.代理的使用

        今天我们重点讲解和关注数据采集层面的内容，第一步就是如何使用亮数据代理。

2.1.亮数据代理 IP 资源丰富

        亮数据是一家 IP 代理资源服务商，提供超 7200 万个 IP，覆盖全球，有动态住宅+静态住宅+移动+机房等多种类型 IP 可供选择。

2.2.注册亮数据账号

输入姓名、工作邮箱、手机号码等信息，即可注册亮数据账号。

2.3.登录

使用注册时的邮箱账号登录。

登录成功之后的欢迎页。

2.4.购买静态住宅代理

        选择【代理 &爬虫基础设施】，选择【添加】，这里亮数据提供了无限机房代理、亮数据浏览器、亮数据网络解锁器、真人住宅代理、搜索引擎爬虫 SERP、静态住宅、数据中心代理等多种类型的代理。我们这里选择静态住宅代理，支撑我们长期高效稳定的获取数据。

选择 Germany 地区的 IP 代理，并且设置 IP 类型为独享，首次注册的账号会赠送 10 美元。

2.5.展示已购买代理

回到个人中心首页，显示已购买的静态住宅代理。

3.使用代理获取西方史数据

3.1、测试代理

显示我们已稳定在 DE 段 IP，下一步可以去获取 DE 区域的网站，去获取 DE 的相关西方史。

3.2、爬取德国发展历史

下面 2 张图，展示了爬取数据的核心操作。

3.3、获取数据

获取到所需的数据，整理成 word 文档。

4.在国产 AI 应用里使用数据训练

4.1 加载训练数据

在智能体里添加新知识库，上传我们获取的 30MB 大小的 word 文件作为训练数据。

加载知识库，模型训练速度非常快，等待几分钟就完成了。

4.2 对话

5、总结

        虽然失去了 openapi 的接口权限，但我们自己去构建一个高效、自动化的大模型训练数据抓取和处理流程，在此过程中，利用亮数据代理服务的 IP 代理服务，我们可以长期高效、稳定的操作，去获取大量的预训练数据。而获取到的大量预训练素材，也能使得我们的大模型的知识库越来越充实，回答问题也越来越精准。

​