智谱清言英特尔酷睿 Ultra 专享版发布,离线模型玩转 AIPC
近日,国内领先的大模型厂商智谱在智谱清言的官网发布了智谱清言英特尔酷睿 Ultra 专享版,这个版本可以利用英特尔酷睿 Ultra 处理器提供的澎湃的 AI 算力,在不联网的情况下就可在 PC 本地运行智谱的端侧模型,为广大用户提供高隐私、重安全的、在弱网或断网情况下依然可以使用的 AI 助手。
智谱清言是拥有海量用户的端侧应用,涵盖了移动及 PC 端,是基于云端大模型的人工智能助手,并有很多附加功能,深受用户喜爱。在 PC 上使用时,有些用户会有一些个人或者组织的隐私数据或者有一定安全要求的数据希望在本地处理,避免相关数据的泄密风险,同时在某些弱网或断网情况下,很多用户也有在 PC 上使用大模型的 AI 助手的需求。
英特尔自 2023 年 12 月发布了命名为酷睿 Ultra 第一代 AI PC 处理器,为在 PC 端侧运行 AI 应用提供了优秀平台。在这一代的处理器中,创新的增加了专门的 AI 处理单元:NPU,也就是神经网络处理单元。同时第一代的酷睿 Ultra 处理器又大幅度的提升了内建显卡的算力,为图形计算和 AI 运算提供了澎湃的算力。加上传统的 CPU,在这一代的酷睿 Ultra 处理器上就通过 CPU+NPU+iGPU (内建图形处理单元)为不同的 AI 负载提供了合适的算力引擎。其中 CPU 适合一些对延迟性要求较高的 AI 应用,而一些持续性的、低负载的 AI 应用适合运行在 NPU 上,iGPU 更适合运行一些大吞吐量的 AI 运算。
结合英特尔酷睿 Ultra 的强大 AI 算力,智谱结合自己在云和端侧丰富的模型和应用开发经验,很早就与英特尔的工程技术人员开始了联合开发。双方团队紧密沟通,充分发挥双方在软、硬件上优势,在本地模型的选择上确保了模型参数与准确性的平衡,同时采用了合理的量化技术确保了合理的模型文件尺寸,另外在性能调优上选取了优秀的工具链确保了本地模型运行高效的运行在处理器之中的 AI 引擎上。
这个版本会自动检测 PC 平台的配置,在满足条件的英特尔酷睿 Ultra PC 上会自动下载合适的端侧模型,通过这个端侧模型,用户可以利用英特尔酷睿 Ultra 的本地 AI 算力,为用户提供端侧的个人助手,包括知识问答、文档撰写、创意生成等工作。比如:可以将若干篇存在 PC 本地的文档通过在 RAG(Retrieval-augmented Generation,检索增强生成)形成专有的知识库,并通过自然语言查询,而输出的内容既包含了来自本地文档的专业信息,同时输出内容也更加自然并有逻辑。另外,智谱清言的英特尔酷睿 Ultra 专享版还可以完成本地长文档的摘要等工作,极大的提升了生产效率,形成了用户身边的、随时随地的“AI 助手”。
随着英特尔不断推出酷睿 Ultra 处理器新品,相关的 AI 算力也在不断提升。英特尔将持续携手包括智谱在内的国内领先的 AI 应用厂商推出更多的适合国内用户的 AI PC 应用,丰富 AI PC 生态圈。
更多信息:
* 可以访问 Intel.com/aipc 及 intel.cn/aipc 了解更多有关英特尔 AI PC 相关内容。
* 可以访问智谱清言官网https://chatglm.cn/ 了解更多有关智谱清言英特尔酷睿 Ultra 专享版相关内容。
评论