MaxKB 结合算力舱搭建本地的知识库

catdog

发布于298天前
😺🐶
这个文章的前期是,您的微服已经连接上算力舱。

# 安装 MaxKB 

在微服的应用商店中安装 `MaxKB` 这个应用


https://appstore.lazycat.cloud/#/shop/detail/xyz.mxue.maxkb


安装会提示输入帐号密码登录,这个默认的帐号为 `admin`,密码为 `MaxKB@123..` 注意不要漏掉密码的`.`哦!

# 配置 `ollama` 模型

点击顶部的菜单栏中的“系统设置”,然后点击 “模型设置” 

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/3f792876-5402-4312-b9e8-bb1ad00832b6.png "image.png")

添加右边的 “添加模型” 按钮,会弹出一个模型服务商的选择列表,在这个列表中我们可以看到各种各样的线上服务提供商,而我们是算力舱中提供的是本地的 `ollama` 服务。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/05f69080-83cc-46cc-9714-16b708fc2d71.png "image.png")

选择 ollama 后,需要我们配置各种参数


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/7feff5ef-7026-46e2-89d2-d21b06b7b73a.png "image.png")

`模型名称` 可以自定义,也可以保留和下面的基础模型名称一样,方便查找.

`权限` 可以选择公有,这个是微服中的服务,只有具有您微服的帐号才能使用

`模型类型` 这个分为三类,“大语言模型”,“向量模型”,“视觉模型”,在 ollama 中大部分的模型都是 “大语言模型”,“向量模型”一般是对文件做向量化用的,而“视觉模型”是指多模态的大语言模型。在图片中,我们选择 `qwen3:30b-a3b` 为我们的基础模型,这个就是一个 “大语言模型”

`基础模型` 这个是 ollama 中的模型,注意不要写错,否则会导致以为模型不存在,而等待拉取,填写正确的情况下,点击保存后是不会有拉取的提示的。

`API URL` 这个是算力舱的 ollama 地址,在安装 `AI` 应用后,这里的地址可以直接写 `https://ollama-ai..heiyu.space` 

`API KEY` ollama 是在算力舱中部署,不需要任何的api,这里可以随便填写几个字符就可以,比如 `sk-fake`

点击保存后,进行下一步。

在上面的配置中,我们配置了 ollama 的大语言模型,但是要使用知识库功能,我们还需要添加 “向量模型”,我们再次点击 “添加模型”,选择 “ollama” 提供商

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/ca10b20f-22fc-4e2d-bf00-3c43a28d616f.png "image.png")

根据图片中的信息填写,ollama 中默认也携带了 bge-m3 模型,如果您需要使用别的模型做向量化,可以更改。点击保存后,可以看到我们的模型列表中多了两个模型。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/775e9692-af31-4eeb-8190-b575ae5a1d3d.png "image.png")

为了更好的效果,我们需要配置下 ollama 大模型的参数

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/936fc6f0-f3e9-42ac-93fe-329641b0bb67.png "image.png")

点击模型参数配置,我们可以减少温度,让模型更遵循您提供文档的内容输出,增大输出的内容长度。下面这个是默认的参数

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/3ebf8daa-4a8d-4924-88ab-5cf2b96b8403.png "image.png")

更改成 


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/53d7f69a-5740-4b9d-bca9-bbc743ef0c6e.png "image.png")

添加 `num_ctx` 参数, ollama 默认的参数为 2048, 会导致知识库的效果比较差,这里我们添加这个参数,然后调整为 10240


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/4af19c00-1d8c-48ed-9cc5-f7c3ffddc2f2.png "image.png")

点击保存后,可以看到最后的参数值


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/2071d2ef-9e18-449d-ae21-5aedee3f9776.png "image.png")

到此,模型的添加和配置已经完成,下面我们去上传文件构建知识库。

# 创建知识库

点击顶部菜单栏中的 “知识库”

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/db8ada70-026b-449e-9d6f-8b42eb8a9596.png "image.png")

根据您的场景填写您的名称和描述,我这里创建的是算力舱的使用和说明文档知识库

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/5d58bc53-dfe3-437c-9bd9-f2653fd8d9dc.png "image.png")

创建成功后,可以进到知识库中上传文档构建知识库。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/9a38aa77-be1f-4d5a-a915-bd1386587415.png "image.png")


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/cd024a5f-60b6-4194-8a46-3265032b2ae9.png "image.png")

点击下一步后,会出现一个 “加载中” 的页面,这个是应用在对您的文档做处理,比如分段,docx文档提取文字等操作,如果您文件比较多,需要等的时候较长些,请您耐心等候(建议您一次不要上传太多的文件)


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/12336164-7634-4792-a2b5-de69d16a581d.png "image.png")

处理结果后,会出现下面的效果

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/2b912b53-897f-4b0a-acd1-8e4a60e1411e.png "image.png")

我们继续点击 “开始导入”,导入之后会调整到文件管理的界面,在这个界面上您会发现一些小的文件已经索引完成。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/f45664db-1f5f-46f5-b4d8-278d1e8733cf.png "image.png")

现在知识库也创建完成了,我们去使用这个知识库创建应用。

# 根据知识库创建应用

点击应用,选择创建应用

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/bdc31db5-01de-405f-a8fe-2e5c1b40ae89.png "image.png")


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/b794b9e0-a4ca-45f5-abf8-fe0d794e7e00.png "image.png")

在这里,我们选择 “简单配置” 已经够用,如果您有更复杂的流程控制,您可以使用右边的 “高级编排” 功能。

在配置中,我们需要添加模型,就选择我们刚刚添加的模型,以及关联我们创建的数据库。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/8d113a0e-ccba-4297-b3cd-9ec7e271d469.png "image.png")

在底部,还可以把模型的思考输出。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/143b6b34-b4bd-4b4a-8ff2-98088606f4ff.png "image.png")

在右侧可以对模型进行调试,如果您觉得模型的输出被截断了,您可以在模型的配置中将模型的最大输出设置为 `81920` 大小。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/07911f69-16e3-4bb7-8a77-0450ac254153.png "image.png")

点击右上角的保存并发布。

# 在浏览器使用知识库应用

在配置的左边,有一个“概览”,点击后可以显示如下

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/a537f3a7-5ece-4823-beb8-a84ef683e097.png "image.png")

您可以复制这个公开的连接 AI 浏览器中,创建快捷方式,方便访问。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/4fcab670-71c9-47cd-8ed3-2961dd1d70eb.png "image.png")


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/f3604b35-70a4-470f-938a-53863b751579.png "image.png")

点击刚添加的图标就可以打开知识库应用。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/0447bcaa-7a87-43cc-a77a-5bd72b7fa780.png "image.png")

完成!

评论

0

暂无评论

说点什么呢~
收藏
0
0
0