Ollama 和 Open-WebUI 使用指南

catdog

发布于580天前
😺🐶

使用 Intel Ipex 优化后的 Ollama, 老实说,目前的用户体验还远非理想,我们正在探索如何优化。

  • 安装过程可能会比较耗时
  • 首次加载模型慢

商店安装

https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.app.lzcollama

首次启动时,应用需要安装intel oneAPI驱动。这个过程比较耗时(也取决当前微服的负载),可能会导致用户可能会看到以下提示。

image.png

我们正在努力改善这一点,但目前只能建议您保持耐心,等待2-4分钟。

使用指南:

  1. 打开应用后,点击底部的"开始使用"按钮。

image.png

  1. 创建管理员账号。这是Open-WebUI项目的内部管理员,与懒猫微服的管理员不同。

image.png

根据您实际的信息填写即可,这个我填写为以下信息,邮箱可以填一个不存在,并没有校验,只是用来区分多用户。

image.png

  1. 选择默认模型"builtin-qwen2.5:0.5b"开始对话。

image.png

在您选择模型后,就可以在输入框中进行询问,但需要注意的一点是,目前模型首次加载很慢 这个我们还在优化中...

image.png

  1. 使用其他模型,可以在左上角中的选项中进行搜索,如果已经下载,则可以直接选用,还可以直接从 Ollama 中拉取

image.png

在拉取模型的过程中,如果遇到速度越来越慢,则可以点击右边的 X 按钮,取消后重新拉取,之前的下载的进度会保留

image.png

  1. AnythingLLM 应用中,直接使用 Ollama 的 API 接口

第一步,先打开 AnythingLLM 的配置项.

image.png

然后点击左侧的 LLM 配置项,在底部的 Base URL 配置中填上 https://lzcollama.$boxname.heiyu.space/lzcollama

image.png

注意替换 $boxname 为您微服名称

评论

0

暂无评论

说点什么呢~
收藏
3
0
0