写点什么

看,大象装进冰箱了!快来解锁 Chrome 内置大模型!

作者:Jax
  • 2024-10-08
    北京
  • 本文字数:1023 字

    阅读完需:约 3 分钟

看,大象装进冰箱了!快来解锁 Chrome 内置大模型!

💰 点进来就是赚到知识点!本文带你解锁 Chrome 内置大模型点赞收藏评论更能促进消化吸收!

🚀 想解锁更多 Web AI 的技能吗?快来订阅专栏「https://www.infoq.cn/u/jaxnext/publish」!

📣 我是 Jax,在畅游 Web 技术海洋的又一年,我仍然是坚定不移的 JavaScript 迷弟,Web 技术带给我太多乐趣。如果你也和我一样,欢迎关注私聊


想要解锁内置在浏览器里的大模型吗?无需注册账号、无需充值,甚至无需联网,端侧智能模型随你拿捏!简单几步即可解锁,就像把大象装冰箱一样简单!

零、设备要求

  • 系统版本:

  • WIndows:≥ 10.11

  • MacOS:≥ 13 (Ventura)

  • 磁盘空间:≥ 22 GB

  • GPU:集成或独立显卡均可

  • 显存:≥ 4 GB

一、预先准备

  • 安装 Chrome 的开发版Canary 版,版本号要高于 127.0.6512.0

  • 把系统语言切换到英文

  • 把 Chrome 语言切换到英文

二、更改配置

启用 Gemini Nano 和 Prompt API

  1. 在 Chrome 新标签地址栏中访问这个地址:chrome://flags/#optimization-guide-on-device-model

  2. 在右侧下拉菜单勾选「Enabled BypassPerfRequirement」

  3. 访问 chrome://flags/#prompt-api-for-gemini-nano

  4. 在右侧下拉菜单中勾选「Enabled」

  5. 重启 Chrome

  6. 访问 chrome://components

  7. 找到「 Optimization Guide On Device Model」这一项

  8. 点击下方的「Check for update」按钮,下载模型(模型版本应高于 2024.5.21.1031)

  9. 模型下载完毕后重启 Chrome

确认 Gemini Nano 是否可用

  • 打开 Chrome DevTools

  • 在控制台粘贴并执行 await window.ai.canCreateTextSession();

  • 如果执行结果为「readily」,则表示大功告成

三、把玩内置模型

我们可以把官方提供的示例代码粘贴到控制台运行:


const canCreate = await window.ai.canCreateTextSession();
if (canCreate !== "no") { const session = await window.ai.createTextSession();
const stream = session.promptStreaming("Write me an extra-long poem"); for await (const chunk of stream) { console.log(chunk); }}session.destroy();
复制代码


但每次都这样操作太麻烦了,所以我急速码了一个界面,让大家可以像用 ChatGPT 一样玩转内置模型:


https://rejax.fun/chrome-ai-ui/


对话记录会被保存在 localStorage 里,接下来将会支持设置 topK 和 temperature。

四、结语

大模型终于不再是远在云端、只有厂商才能触碰得到的高枝。慢慢地,或者说很快,开发者和普通用户都可以和原生智能能力零距离接触了,用微博网友的话来形容:飞入寻常百姓家。


欢迎和我一起交流你的观察、实践、思考和问题!

发布于: 刚刚阅读数: 6
用户头像

Jax

关注

Don't be good, be great. 2019-01-28 加入

还未添加个人简介

评论

发布
暂无评论
看,大象装进冰箱了!快来解锁 Chrome 内置大模型!_JavaScript_Jax_InfoQ写作社区