度小满 CTO 许冬亮：大模型时代需警惕中小金融机构“技术掉队”

9 月 12 日,麦肯锡 2023 年中国金融业生成式人工智能发展论坛于上海召开,本届会议以“捕捉 GenAI 新机遇”为主题,展望了生成式人工智能在全球及中国的发展趋势及机遇赛道。

“大模型是科技公司的‘必争之地’,做不做大模型将决定一家金融科技公司未来 5 到 10 年的技术发展水平”,度小满 CTO 许冬亮在会上表示。但训练大模型的门槛也非常高,他提醒在大模型时代需警惕中小金融机构“技术掉队”,中小机构与头部机构的数字化、智能化鸿沟有进一步扩大的可能。

(度小满 CTO 许冬亮在“中国金融机构如何布局 GenAI“圆桌论坛上发言)

许冬亮认为,金融行业数字化基础好、人工智能应用场景密集,是大模型落地的最佳领域之一。但金融行业业务决策复杂,合规要求高,金融机构要将大模型应用于实际业务,还将面临模型可控性、技术投入门槛、安全合规等方面的挑战。

首先是资源投入门槛:算力方面,许冬亮举例称,如果用 100 张 A800 的 GPU 集群,去训练一个百亿参数规模的大模型,至少需要 15 天,这意味至少 2000 万的资金投入。如果想压缩时间或者训练更大的模型,就需要更大规模的算力。人才方面,相比传统的人工智能开发,大模型落地应用需要既懂技术、懂业务又有工程开发能力的高精尖领军人才,这样的人才市场上“一将难求”。

其次是大模型本身的问题。他认为通用模型的能力并不能满足金融行业的需要。一是通用大模型本身精度不够,当前大模型原生的幻觉问题、可控性问题和可解释性问题都限制了生成内容的质量和可靠性,而金融又是一个对精准性要求很高的行业;二是通用大模型缺少金融专业知识。高质量数据才能带来高质量模型效果,核心金融数据基本都储存在金融机构内部,通用大模型的训练无法获取高质量金融数据。

再次是落地应用方面的挑战。在 to C 业务上,AI 原生应用要能够再造用户体验流程,让用户可以和产品更自然的交互;在 to B 上,通过营销助手、坐席助手、办公助手、代码助手等赋能员工。

最后是安全合规和数据隐私保护的挑战。“大模型是颠覆性的新技术,我们对它的风险还没有完全了解,投入生产必须慎之又慎。随着大模型落地的不断推进,如何平衡大模型落地收益和大模型风险控制,是一个会越来越突出的问题”。

对于中小机构应当如何数字化、智能化转型,许冬亮建议,一是发挥生态伙伴的力量,同科技公司合作比如跟提供行业大模型解决方案的公司合作实现 AI 应用快速落地;二是组建既懂技术又懂业务的复合型团队,单纯业务驱动或者技术驱动都做不好智能化;三是场景选择上先易后难,先做 to B 业务助手类的应用再提供 to C 客服、咨询类的服务,先落地容错度高的场景再到容错度低的场景。