MaxKB 结合算力舱搭建本地的知识库

catdog

发布于336天前
😺🐶

这个文章的前期是,您的微服已经连接上算力舱。

安装 MaxKB

在微服的应用商店中安装 MaxKB 这个应用

https://appstore.lazycat.cloud/#/shop/detail/xyz.mxue.maxkb

安装会提示输入帐号密码登录,这个默认的帐号为 admin,密码为 MaxKB@123.. 注意不要漏掉密码的.哦!

配置 ollama 模型

点击顶部的菜单栏中的“系统设置”,然后点击 “模型设置”

image.png

添加右边的 “添加模型” 按钮,会弹出一个模型服务商的选择列表,在这个列表中我们可以看到各种各样的线上服务提供商,而我们是算力舱中提供的是本地的 ollama 服务。

image.png

选择 ollama 后,需要我们配置各种参数

image.png

模型名称 可以自定义,也可以保留和下面的基础模型名称一样,方便查找.

权限 可以选择公有,这个是微服中的服务,只有具有您微服的帐号才能使用

模型类型 这个分为三类,“大语言模型”,“向量模型”,“视觉模型”,在 ollama 中大部分的模型都是 “大语言模型”,“向量模型”一般是对文件做向量化用的,而“视觉模型”是指多模态的大语言模型。在图片中,我们选择 qwen3:30b-a3b 为我们的基础模型,这个就是一个 “大语言模型”

基础模型 这个是 ollama 中的模型,注意不要写错,否则会导致以为模型不存在,而等待拉取,填写正确的情况下,点击保存后是不会有拉取的提示的。

API URL 这个是算力舱的 ollama 地址,在安装 AI 应用后,这里的地址可以直接写 https://ollama-ai.<微服名称>.heiyu.space

API KEY ollama 是在算力舱中部署,不需要任何的api,这里可以随便填写几个字符就可以,比如 sk-fake

点击保存后,进行下一步。

在上面的配置中,我们配置了 ollama 的大语言模型,但是要使用知识库功能,我们还需要添加 “向量模型”,我们再次点击 “添加模型”,选择 “ollama” 提供商

image.png

根据图片中的信息填写,ollama 中默认也携带了 bge-m3 模型,如果您需要使用别的模型做向量化,可以更改。点击保存后,可以看到我们的模型列表中多了两个模型。

image.png

为了更好的效果,我们需要配置下 ollama 大模型的参数

image.png

点击模型参数配置,我们可以减少温度,让模型更遵循您提供文档的内容输出,增大输出的内容长度。下面这个是默认的参数

image.png

更改成

image.png

添加 num_ctx 参数, ollama 默认的参数为 2048, 会导致知识库的效果比较差,这里我们添加这个参数,然后调整为 10240

image.png

点击保存后,可以看到最后的参数值

image.png

到此,模型的添加和配置已经完成,下面我们去上传文件构建知识库。

创建知识库

点击顶部菜单栏中的 “知识库”

image.png

根据您的场景填写您的名称和描述,我这里创建的是算力舱的使用和说明文档知识库

image.png

创建成功后,可以进到知识库中上传文档构建知识库。

image.png

image.png

点击下一步后,会出现一个 “加载中” 的页面,这个是应用在对您的文档做处理,比如分段,docx文档提取文字等操作,如果您文件比较多,需要等的时候较长些,请您耐心等候(建议您一次不要上传太多的文件)

image.png

处理结果后,会出现下面的效果

image.png

我们继续点击 “开始导入”,导入之后会调整到文件管理的界面,在这个界面上您会发现一些小的文件已经索引完成。

image.png

现在知识库也创建完成了,我们去使用这个知识库创建应用。

根据知识库创建应用

点击应用,选择创建应用

image.png

image.png

在这里,我们选择 “简单配置” 已经够用,如果您有更复杂的流程控制,您可以使用右边的 “高级编排” 功能。

在配置中,我们需要添加模型,就选择我们刚刚添加的模型,以及关联我们创建的数据库。

image.png

在底部,还可以把模型的思考输出。

image.png

在右侧可以对模型进行调试,如果您觉得模型的输出被截断了,您可以在模型的配置中将模型的最大输出设置为 81920 大小。

image.png

点击右上角的保存并发布。

在浏览器使用知识库应用

在配置的左边,有一个“概览”,点击后可以显示如下

image.png

您可以复制这个公开的连接 AI 浏览器中,创建快捷方式,方便访问。

image.png

image.png

点击刚添加的图标就可以打开知识库应用。

image.png

完成!

评论

0

暂无评论

说点什么呢~
收藏
0
0
0