首页 / AI学院 / 内容查看

手把手教你用chrome canary内置的本地AI

发布于: 2024-06-20 15:34:33

手把手教你用chrome canary内置的本地AI

引言

谷哥已经将Gemini Nano大模型内置到最新的Google Chorme开发版本中,这个大模型可以让用户利用本机的硬件调用大模型进行问题回答。

目前Gemin Nano模型体积约为1.4GB左右,解压到本地,约为1.74GB, 按F12,可以在控制台中运行, 下面是一个演示:


关于本公众号,第一时间了解AI前沿技术,趋势


AI饭米粒在AI时代,一起学习和掌握先进的AI技术,领跑他人公众号


第一步:先下载最新的Chrome Canary
官方下载地址:

https://www.google.com/chrome/canary/


如果官方下载不了,可以试一下:

https://cdn.givemetoken.com/chrome.dmg


第二步: 启动大模型

1、先开启 optimization guide on device,在浏览器地址栏输入下面的内容:

chrome://flags/#optimization-guide-on-device-model

找到 Enables optimization guide onDevice项,并设置为:Enabled BypassFrefRequirement,具体如下图:

(如有提示重启浏览器,可先不重启)

2、再开启 Prompt API for Gemini Nano,在浏览器地址栏输入下面的内容:

chrome://flags/#prompt-api-for-gemini-nano

找到 Prompt API for Gemini Nano, 并设置为 Enabled,具体如下图:



3、下载模型, 在浏览器地址栏输入下面的内容:

chrome://components/

找到 Optimization Guide On Device Model ,点击Check for Update,会开始下载,下载完成之后,会显示最新的版本号,具体如下图


4、测试是否能本地运行,可以按F12,进入控制台,输入:

window.model.createTextSession ()

正常会返回一个Promise

如下图:

第三步:问题测试
按F12, 输入下面的function:

async function promptLLM(prompt) {
try {
if (!window.ai || (await window.ai.canCreateTextSession()) !== "readily") {
throw new Error("Gemini Nano not ready or not supported.");
    }

const startTime = performance.now();
let charCount = 0;

const session = await window.ai.createTextSession();
const stream = session.promptStreaming(prompt);
let message = "";
for await (const chunk of stream) {
// console.log(chunk);
      message = chunk;
      charCount = chunk.length;
    }

const endTime = performance.now();
const timeElapsed = (endTime - startTime) / 1000;

console.log(message);
console.log(`字数统计: ${charCount} 字`);
console.log(`每秒输出字符数: ${Math.round(charCount / timeElapsed)} 字符/秒`);

    session.destroy();
  } catch (error) {
    console.error(error);
  }
}

我们来测试几道题:
1、普通的文本回答:

promptLLM("介绍一个微积分是什么?")

回答如下:



2、翻译
promptLLM("人类的未来是星辰大海。把这句话翻译成英文")
回答如下:


3、逻辑推理:

promptLLM("黑兔、灰兔和白兔三只兔子在赛跑。黑免说:“我跑得不是最快的,但比白兔快。”请你说说,谁跑得最快?谁跑得最慢?");

回答如下:

可以看到,逻辑推理上,还是有些欠缺

总结:
这个AI做一些简单的文本,翻译等事情还是可以的,但做一些逻辑性的问题,还有问题,但优点就是不以来于网络,本机就可以跑,聪明的你,一定可以挖掘出更多的场景。

----------线-----------


AI饭(my-aifamily) ,在AI时代,希望能各位带来AI相关的知识


AI饭



稿


shenzhe163@gmail.com


  桶哥   AI