指标让 AI 更懂业务|Kyligence Copilot 是如何做到的?
7 月 14 日,以“释放数智生产力”为主题的 Kyligence 用户大会在上海成功举行。大会现场发布了 Kyligence 最新产品家族的一员:AI 数智助理——Kyligence Copilot 的预览版。目前 Kyligence Copilot 也已经开放申请测试,可在文末访问申请通道。
点击链接查看视频,了解一下 Copilot 的能力。
我们能看到 Copilot 可以很好地理解业务问题,并转化为相应的分析和建议,将结果通过自然语言的方式反馈给用户,这大大降低了用户使用数据驱动业务决策的门槛。这里核心靠的是什么呢?
基于大量参数的模型预训练?
模型微调(Fine-tune)?
复杂的提示工程?
都不太准确。Kyligence Copilot 是基于大语言模型服务(LLM Services)和指标数据服务(Metrics & Data Services)之上的智能应用,把深奥的 Data + AI 技术包装成业务人员低门槛使用的产品功能。
Kyligence Copilot 架构图
指标让 AI 更懂业务
Kyligence Copilot 是基于 Kyligence Zen 一站式指标平台提供的智能化能力,这决定了 Kyligence Copilot 的一个与众不同之处是所有的数据洞察和分析建议都是基于指标产生的。指标是业务在技术空间的投影,AI 通过认识指标定义、读取指标结果,可以更深刻地理解业务上下文,进而对用户提出的业务问题给出更专业的答案。
指标平台为 AI 提供了一个有限的业务上下文,让 AI 能够在符合用户预期的有限范围内开展内容生成。举个例子,就像 AI 是一个综合素质很高的通才,而企业通过指标平台维护的指标体系正是给 AI 提供了专业而全面的经营数据,让 AI 可以在这些经营数据所代表的业务问题中深入思考。此外,通过指标平台统一管理指标口径,避免 AI 接受充满歧义的业务数据,更能提升 AI 洞察的准确性。
大模型与大数据的桥梁
Kyligence Copilot 本身不是一个大模型,而是基于 OpenAI 等大模型技术之上的应用。Kyligence Copilot 提供指标搜索及洞察(Metrics Discovery & Deep Dive)、KPI 评估及建议(KPI Evaluation & Suggestion)、工作流及数据产品(Workflow & Data Products)等功能,背后的核心都是借助大模型服务生成基于指标数据的洞察和建议,并反馈给用户。
举个具体的例子,Kyligence Copilot 回答用户问题的时候,背后的执行逻辑大体分四步:
第一步是提问审查,去看提问的问题是否合法合规、符合逻辑等,这是第一次和语言模型的对话。
第二步是指令理解,把用户请求去映射成一个指标平台的具体动作,这步通常比较难,用户对业务需求的表达是多种多样的。
第三步是指标平台进行指令的执行,可能是归因分析、目标看板等等,这一步得到的只是数据。
第四步是用一个语言模型把这个数据、图表进行自然语言的解读,将重点鲜明的洞察反馈给用户。
工欲善其事,必先利其器。大家看到 OpenAI ChatGPT 的能力是相当不错的,那其他大模型在理解力、性能这方面的表现如何?我们也帮大家做了一些测试和调研,我们用开源的大语言模型代替 ChatGPT 进行了一些初步的尝试,比如 LLaMA 13B 和 Falcon 40B 在测试指令理解能力这个方面大概可以达到 ChatGPT 3.5 的 70% 左右的能力,这可以理解为目前企业希望在本地落地大语言模型指标 Copilot 的最低能力范围。
如何控制成本?
Kyligence Copilot 和传统数据工具最大的区别在于,传统工具(甚至包括 Excel)都是专业工具,这决定了企业可能只有一部分人才能使用,而 Kyligence Copilot 会被企业中每个人使用。我们可以预期,Kyligence Copilot 分析引擎的负载可能会有百倍乃至千倍的增长,这就对成本优化产生严苛的要求。而这也是 Kyligence 一直在持续耕耘的方向,即如何用一个超高并发的 OLAP 引擎技术支撑百倍的负载。
从 2019 年 Kyligence 发布 AI 增强引擎开始,Kyligence 就在不断优化通过 AI + 预计算技术优化多维分析场景的性能和并发度,同时降低成本。此外,我们还在持续推进计算引擎的性能,我们研发的向量化的 Spark 引擎技术 Kyligence Turbo,已经把标准的 Spark 提速 2 倍以上,可以帮助企业节省 50% 左右的算力和成本。
Kyligence Zen 和 Kyligence Copilot 现已开启试用,欢迎大家点击链接申请体验。
关于 Kyligence
跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,提供企业级 OLAP(多维分析)产品 Kyligence Enterprise 和一站式指标平台 Kyligence Zen,为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户,包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业,并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
版权声明: 本文为 InfoQ 作者【Kyligence】的原创文章。
原文链接:【http://xie.infoq.cn/article/cc028c3301eedd3c46ae26396】。文章转载请联系作者。
评论