服务器部署大模型、并进行调用 ( 基于esp-ai服务端 )-青柠博客

配置说明：

我这里不是用docker部署的服务端，是用npm部署，用nodejs运行的

esp-ai版本：v2.56.34
单片机客户端版本：2.41.32
npm版本：9.3.1
nodejs版本：v22.14.0

1、通过ollama部署大模型

2、部署好大模型之后，如何去调用呢？

2.1 先去插件市场，找到插件

插件市场链接：https://dev.espai.fun/#/Plugin

2.2 再去npm官网找到npm安装代码：

npm官网上的插件链接：https://www.npmjs.com/package/esp-ai-plugin-llm-ollama

在index.js的同级目录下执行插件安装代码

npm i esp-ai-plugin-llm-ollama

2.3 然后在index.js文件中插入下面代码：

plugins: [
    // 引入插件，注意：使用插件时必须按插件文档中要求的配置项来配置插件
    // 如这个插件：https://github.com/wangzongming/esp-ai-plugin-tts-aliyun
    require("esp-ai-plugin-llm-ollama")       //这里填入的是插件的名称
  ],

//调用本地部署的大模型      
        llm_server: "esp-ai-plugin-llm-ollama",   //调用本地部署的大模型
        llm_config: {
             URL : "http://localhost:11434",       //地址默认用这个
             MODEL : "qwen2.5:0.5b",                //填入本地部署的大模型名字
        },

2.4 验证是否安装成功

版权声明 1 本网站名称：青柠博客
2 本站永久网址：https://www.qingningz.cn/
3 本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长 QQ2362400196进行删除处理。
4 本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5 本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6 本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END