测试 Chrome 内置 Gemini Nano 大语言模型 (4bit 3.25B) 的方法

测试 Chrome 内置 Gemini Nano 的方法：

  1. 下载 Chrome 127，可以到 Chrome Release Channels 下载 Canary 版本

  2. 打开 chrome://flags/，搜索以下设置并启用：

  • a) 找到 Prompt API for Gemini Nano 设置为 Enable
  • b) 找到 Enables optimization guide on device 设置为 Enable BypassPerfR (不是 Enable)
  • c) 重启 Chrome

  1. 打开 chrome://components/，检查 Optimization Guide On Device Model 中模型是否成功下载，点击 Check for update

  1. 打开控制台，输入 window.ai 测试是否能有返回结果，可以用下面的完整代码测试：
const canCreate = await window.ai.canCreateGenericSession()


if (canCreate !== "no") {
    const session = await window.ai.createTextSession();
    const stream = session.promptStreaming("Tell me a joke!")
    for await (const chunk of stream) {
        console.log(chunk)
    }
    session.destroy()
} else {
    console.error(" can't create generic session", canCreate)
}
See all posts