写点什么

大语言模型“战国时代”,未来将如何发展?

作者:申屠鹏会
  • 2023-11-06
    浙江
  • 本文字数:1904 字

    阅读完需:约 6 分钟

近年来,随着大语言模型迅速崛起,明星公司、明星产品、知名企业家的逐渐进入赛道,大语言模型俨然成为人工智能领域的新宠。它是什么?简单来说,大语言模型是一种被训练用来预测文字的巨大神经网络。随着模型规模的不断扩大和训练数据的增加,大语言模型的理解和创造能力都在稳步提升。

GPT-3 的出现预示着未来

2020 年,OpenAI 发布的 GPT-3 可以说是引爆了这个领域的导火线。它是当时最大的语言模型,拥有高达 1750 亿个参数。GPT-3 展示了惊人的文本生成能力,可以根据提示创造出逼真的文章、代码、诗歌等。用户给出几句话的提示,它就可以编写出一篇数百字的文章,同时支持判断语气和确保语义上的连贯性,让生成文本内容栩栩如生。这预示着人工智能正在朝着更加智能化的方向飞速发展。

 

截止目前,各大公司均推出了不同风格、领域的大模型,在这个“战国时代”,大语言模型会走向何方呢,笔者浅谈以下几个趋势。

 

趋势一:模型继续扩大规模

业内预计,语言模型将持续增大规模,参数数量将从万亿级增长到万万亿级。以 GPT-3 为例,它的后续版本 GPT-3.5 参数量将达到 1000 亿;Anthropic 公司开发的 Claude 模型已经达到 2000 亿参数。由于底层原理的特性,参数越多,模型的学习能力就越强。未来的大语言模型将拥有更强大的理解、记忆和创造能力。

 

目前来说,大语言模型参数数量的增加主要依赖于两方面:一是算力的提升,包括 GPU 性能的提高、集群规模的扩大等;二是模型结构的优化,通过更高效的参数配置来增加参数量。随着科技的进步,在可预见的未来,模型参数总量每年至少会翻倍,最终可能达到万亿或十万亿量级。到那时,或许量变引起质变,大模型的能力将带来翻天覆地的变化。

趋势二:多模态能力进一步增强

未来的大语言模型不仅会处理文字,还会理解图片、语音、视频等多种模态,不同模态之间实现深度融合。这将使语言模型具备更灵活的交互能力和更丰富的创造力。

 

以图片为例,大语言模型未来可以分析图像的细节,判断包含的对象、场景等,并生成相应的文字描述。用户可以输入一张图片,语言模型自动生成这张图片的文字说明。这种图文理解和生成能力,将对很多领域产生深远影响。

 

在视频处理方面,大语言模型未来也可进行自动字幕、视频内容总结等操作。结合语音识别,它可以进行听打语音转文字,并生成语音内容的文本记录。这将大大提高智能助手和其他交互系统的对话能力。

 

趋势三:知识增强,理解世界

 

现有的大语言模型主要是通过无监督训练获得能力,还缺乏丰富的世界知识。未来可通过整合知识图谱等方式进行知识增强,让模型对世界有更多的“常识”,提高实用性。

 

知识图谱可以整合各领域的结构化知识,涵盖常识、词汇关系等。将这些知识注入到大语言模型中,可以显著提升其对话的合理性和减少错误。语言模型可以“记住”常识知识,而不仅是机械预测下个单词。

 

此外,也可以通过让语言模型阅读大规模专业资料、百科全书等方式进行知识获取。未来的语言模型不仅会大幅提高文本理解能力,也会像人类一样拥有丰富的世界常识。

 

这方面可能有两个发展方向,一个是专注各领域的大模型各自发展,互相协作;另一个是融会贯通,大模型朝着全领域超大规模发展。

 

假如在互联网行业,未来可能出现这样一个大模型,它能够承担产品经理的角色,对业务需求进行概括总结,然后输出给编程领域的专业大模型,生成可运行的代码,随后代码交给另一个图片大模型,生成相应的前端页面...甚至对接金融大模型,估算投入产出、营销费用等等,彻底解放生产力。

 

趋势四:可解释性和安全性

 

随着能力提升,模型的判断也需要更加透明和可解释。大语言模型的决策理由不够清晰,未来需要在模型内部加入解读模块,对其判断过程进行解析,输出每个决策的依据,提高可解释性。

 

同时,也需要加强对潜在安全风险和伦理问题的考量,让技术向着更可控的方向发展。例如,监控语言模型生成的文本,避免具有欺诈性、歧视性或非法的内容。建立内容审查和风险评估机制,防止模型生成有害文本。

 

亚马逊全力布局大语言模型

 

亚马逊云计算服务 AWS 在硬件设施上占据优势地位,在自定义 AI 芯片领域也进行了大规模投入。这些丰富的技术和资源优势,标志着大语言模型领域将迎来新的激烈角逐。

 

如 AI 智能编码助手——Amazon CodeWhisperer,经过数十亿行代码的训练,可以根据代码注释和现有代码实时生成相关代码,还能提供安全扫描、规范扫描等功能。



而如此的能力,亚马逊提供给个人用户免费使用,包含无限的代码提示和有限的代码扫描。

 

可以预见,伴随计算力的增强,大语言模型必将以我们难以想象的速度进化。它将成为推动人工智能新突破的重要引擎,带来令人兴奋的应用前景。让我们拭目以待,见证这个日新月异的领域将给我们带来怎样的新机遇!

发布于: 刚刚阅读数: 5
用户头像

申屠鹏会

关注

enjoy~ 2018-11-08 加入

https://xabc.site

评论

发布
暂无评论
大语言模型“战国时代”,未来将如何发展?_AI大语言模型_申屠鹏会_InfoQ写作社区