看,大象装进冰箱了!快来解锁 Chrome 内置大模型!
💰 点进来就是赚到知识点!本文带你解锁 Chrome 内置大模型,点赞、收藏、评论更能促进消化吸收!
🚀 想解锁更多 Web AI 的技能吗?快来订阅专栏「https://www.infoq.cn/u/jaxnext/publish」!
📣 我是 Jax,在畅游 Web 技术海洋的又一年,我仍然是坚定不移的 JavaScript 迷弟,Web 技术带给我太多乐趣。如果你也和我一样,欢迎关注、私聊!
想要解锁内置在浏览器里的大模型吗?无需注册账号、无需充值,甚至无需联网,端侧智能模型随你拿捏!简单几步即可解锁,就像把大象装冰箱一样简单!
零、设备要求
系统版本:
WIndows:≥ 10.11
MacOS:≥ 13 (Ventura)
磁盘空间:≥ 22 GB
GPU:集成或独立显卡均可
显存:≥ 4 GB
一、预先准备
二、更改配置
启用 Gemini Nano 和 Prompt API
在 Chrome 新标签地址栏中访问这个地址:
chrome://flags/#optimization-guide-on-device-model
在右侧下拉菜单勾选「Enabled BypassPerfRequirement」
访问
chrome://flags/#prompt-api-for-gemini-nano
在右侧下拉菜单中勾选「Enabled」
重启 Chrome
访问
chrome://components
找到「 Optimization Guide On Device Model」这一项
点击下方的「Check for update」按钮,下载模型(模型版本应高于 2024.5.21.1031)
模型下载完毕后重启 Chrome
确认 Gemini Nano 是否可用
打开 Chrome DevTools
在控制台粘贴并执行
await window.ai.canCreateTextSession();
如果执行结果为「readily」,则表示大功告成
三、把玩内置模型
我们可以把官方提供的示例代码粘贴到控制台运行:
但每次都这样操作太麻烦了,所以我急速码了一个界面,让大家可以像用 ChatGPT 一样玩转内置模型:
对话记录会被保存在 localStorage 里,接下来将会支持设置 topK 和 temperature。
四、结语
大模型终于不再是远在云端、只有厂商才能触碰得到的高枝。慢慢地,或者说很快,开发者和普通用户都可以和原生智能能力零距离接触了,用微博网友的话来形容:飞入寻常百姓家。
欢迎和我一起交流你的观察、实践、思考和问题!
版权声明: 本文为 InfoQ 作者【Jax】的原创文章。
原文链接:【http://xie.infoq.cn/article/7a9ece32cfb3b12127671d0ef】。文章转载请联系作者。
评论