Ollama 和 Open-WebUI 使用指南

catdog

发布于544天前
😺🐶
使用 Intel Ipex 优化后的 Ollama, 老实说,目前的用户体验还远非理想,我们正在探索如何优化。
  - 安装过程可能会比较耗时
  - 首次加载模型慢

## 商店安装
https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.app.lzcollama

首次启动时,应用需要安装intel oneAPI驱动。这个过程比较耗时(也取决当前微服的负载),可能会导致用户可能会看到以下提示。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/0ea15ad4-b6a3-4d26-965d-887c743222a2.png "image.png")

我们正在努力改善这一点,但目前只能建议您保持耐心,等待2-4分钟。

## 使用指南:

1. 打开应用后,点击底部的"开始使用"按钮。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/4db6c91c-732e-4bb1-b43b-fbf0ee445c6b.png "image.png")

2. 创建管理员账号。这是Open-WebUI项目的内部管理员,与懒猫微服的管理员不同。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/a6e19263-c314-48a8-b754-ae78ac073707.png "image.png")

根据您实际的信息填写即可,这个我填写为以下信息,邮箱可以填一个不存在,并没有校验,只是用来区分多用户。


![image.png](https://dl.playground.lazycat.cloud/guidelines/11/875c2ad1-6452-415d-98d4-202f8fed11c9.png "image.png")

3. 选择默认模型"builtin-qwen2.5:0.5b"开始对话。

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/a8251e73-abc5-4d3f-afcd-f4a1f5f05512.png "image.png")

在您选择模型后,就可以在输入框中进行询问,但需要注意的一点是,**目前模型首次加载很慢** 这个我们还在优化中...

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/6b0565e7-e759-47df-8198-d90a86c46c69.png "image.png")

4. 使用其他模型,可以在左上角中的选项中进行搜索,如果已经下载,则可以直接选用,还可以直接从 Ollama 中拉取 

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/fed6ef11-a745-4604-8085-30e0063e0aca.png "image.png")

**在拉取模型的过程中,如果遇到速度越来越慢,则可以点击右边的 X 按钮,取消后重新拉取,之前的下载的进度会保留** 

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/fd2cd9c3-7d42-40e8-b68c-11a48bd3a5be.png "image.png")

5. AnythingLLM 应用中,直接使用 Ollama 的 API 接口 

第一步,先打开 AnythingLLM 的配置项.

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/610f3a98-e044-4498-89e4-6ef51d621b1b.png "image.png")

然后点击左侧的 LLM 配置项,在底部的 Base URL 配置中填上 https://lzcollama.$boxname.heiyu.space/lzcollama 

![image.png](https://dl.playground.lazycat.cloud/guidelines/11/46c653f6-63ae-4a0b-920f-8597abbfa7db.png "image.png")

**注意替换 $boxname 为您微服名称** 



评论

0

暂无评论

说点什么呢~
收藏
3
0
0