大语言模型“战国时代”,未来将如何发展?
近年来,随着大语言模型迅速崛起,明星公司、明星产品、知名企业家的逐渐进入赛道,大语言模型俨然成为人工智能领域的新宠。它是什么?简单来说,大语言模型是一种被训练用来预测文字的巨大神经网络。随着模型规模的不断扩大和训练数据的增加,大语言模型的理解和创造能力都在稳步提升。
GPT-3 的出现预示着未来
2020 年,OpenAI 发布的 GPT-3 可以说是引爆了这个领域的导火线。它是当时最大的语言模型,拥有高达 1750 亿个参数。GPT-3 展示了惊人的文本生成能力,可以根据提示创造出逼真的文章、代码、诗歌等。用户给出几句话的提示,它就可以编写出一篇数百字的文章,同时支持判断语气和确保语义上的连贯性,让生成文本内容栩栩如生。这预示着人工智能正在朝着更加智能化的方向飞速发展。
截止目前,各大公司均推出了不同风格、领域的大模型,在这个“战国时代”,大语言模型会走向何方呢,笔者浅谈以下几个趋势。
趋势一:模型继续扩大规模
业内预计,语言模型将持续增大规模,参数数量将从万亿级增长到万万亿级。以 GPT-3 为例,它的后续版本 GPT-3.5 参数量将达到 1000 亿;Anthropic 公司开发的 Claude 模型已经达到 2000 亿参数。由于底层原理的特性,参数越多,模型的学习能力就越强。未来的大语言模型将拥有更强大的理解、记忆和创造能力。
目前来说,大语言模型参数数量的增加主要依赖于两方面:一是算力的提升,包括 GPU 性能的提高、集群规模的扩大等;二是模型结构的优化,通过更高效的参数配置来增加参数量。随着科技的进步,在可预见的未来,模型参数总量每年至少会翻倍,最终可能达到万亿或十万亿量级。到那时,或许量变引起质变,大模型的能力将带来翻天覆地的变化。
趋势二:多模态能力进一步增强
未来的大语言模型不仅会处理文字,还会理解图片、语音、视频等多种模态,不同模态之间实现深度融合。这将使语言模型具备更灵活的交互能力和更丰富的创造力。
以图片为例,大语言模型未来可以分析图像的细节,判断包含的对象、场景等,并生成相应的文字描述。用户可以输入一张图片,语言模型自动生成这张图片的文字说明。这种图文理解和生成能力,将对很多领域产生深远影响。
在视频处理方面,大语言模型未来也可进行自动字幕、视频内容总结等操作。结合语音识别,它可以进行听打语音转文字,并生成语音内容的文本记录。这将大大提高智能助手和其他交互系统的对话能力。
趋势三:知识增强,理解世界
现有的大语言模型主要是通过无监督训练获得能力,还缺乏丰富的世界知识。未来可通过整合知识图谱等方式进行知识增强,让模型对世界有更多的“常识”,提高实用性。
知识图谱可以整合各领域的结构化知识,涵盖常识、词汇关系等。将这些知识注入到大语言模型中,可以显著提升其对话的合理性和减少错误。语言模型可以“记住”常识知识,而不仅是机械预测下个单词。
此外,也可以通过让语言模型阅读大规模专业资料、百科全书等方式进行知识获取。未来的语言模型不仅会大幅提高文本理解能力,也会像人类一样拥有丰富的世界常识。
这方面可能有两个发展方向,一个是专注各领域的大模型各自发展,互相协作;另一个是融会贯通,大模型朝着全领域超大规模发展。
假如在互联网行业,未来可能出现这样一个大模型,它能够承担产品经理的角色,对业务需求进行概括总结,然后输出给编程领域的专业大模型,生成可运行的代码,随后代码交给另一个图片大模型,生成相应的前端页面...甚至对接金融大模型,估算投入产出、营销费用等等,彻底解放生产力。
趋势四:可解释性和安全性
随着能力提升,模型的判断也需要更加透明和可解释。大语言模型的决策理由不够清晰,未来需要在模型内部加入解读模块,对其判断过程进行解析,输出每个决策的依据,提高可解释性。
同时,也需要加强对潜在安全风险和伦理问题的考量,让技术向着更可控的方向发展。例如,监控语言模型生成的文本,避免具有欺诈性、歧视性或非法的内容。建立内容审查和风险评估机制,防止模型生成有害文本。
亚马逊全力布局大语言模型
亚马逊云计算服务 AWS 在硬件设施上占据优势地位,在自定义 AI 芯片领域也进行了大规模投入。这些丰富的技术和资源优势,标志着大语言模型领域将迎来新的激烈角逐。
如 AI 智能编码助手——Amazon CodeWhisperer,经过数十亿行代码的训练,可以根据代码注释和现有代码实时生成相关代码,还能提供安全扫描、规范扫描等功能。
而如此的能力,亚马逊提供给个人用户免费使用,包含无限的代码提示和有限的代码扫描。
可以预见,伴随计算力的增强,大语言模型必将以我们难以想象的速度进化。它将成为推动人工智能新突破的重要引擎,带来令人兴奋的应用前景。让我们拭目以待,见证这个日新月异的领域将给我们带来怎样的新机遇!
版权声明: 本文为 InfoQ 作者【申屠鹏会】的原创文章。
原文链接:【http://xie.infoq.cn/article/fc6b589e2ed10fca5d4b47db8】。文章转载请联系作者。
评论