
Alex Liu
## 闲聊可不看 想来有不少懒猫微服和算力舱的用户并非是那么专业的开发者,但是至少是一个喜欢折腾的好动少年,对新奇的事物,高速发展的技术,有着孩童般的好奇,当然同时也是有着足够行动力的践行者。 我是如此,本身所想是给家里老婆,妹妹和父母们整一个nas玩玩,纯粹当作照片视频的在线存储用的,刚好看到了王总的懒猫,后面也发现他是深度系统的创始人,这让我想到了多年前,自己性能孱弱的thinkpad笔记本跑deepin用来办公的日子,于是就下单了微服以及后续的算力舱。 随着使用频次的日渐增多,确实觉得这个小玩具越来越讨喜了,我自己本身是有一点点开发经验的,但是不多,对于ai有自己的需求,同时却能力不足,所以退而求其次,使用了较为简单的方案,满足了我。 ***我的需求是想用基于自己知识库~~训练~~的模型来批量产出满足自己小项目的内容。*** **闲话少说,步入正题**。 ## 算力舱软件 算力舱中的可以拉取和调用大模型的软件,一个是web ollama,一个是open webui,如下所示: https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.aipod.webollama https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.aipod.openwebui 打开webollama后,我们直奔models,可以看到其默认已经配置好的大模型大多数都是qwen的,这个其实也很不错,然而我们肯定是不满足于这么少的模型,况且我这个小项目还是金融相关的,那deepseek又是量化机构研发的,开干吧。 ### 第一步:webollama拉取模型 打开https://ollama.com/search  找到deepseek-r1,会发现其实也要不少的,我们选择其中的deepseek-r1:8b,复制下来后,填写到pull model的输入框中,当然我其实也下载了14b和70b的,但是后面在处理任务的时候还是比较慢的,就没有继续使用了。 这个添加模型后的拉取步骤是没有进度条的,好在家里的网速还不错,ollama拉取的速度还算可以,不一会儿就在模型的列表中出现了。  更具体的教程可以看这个官方文档:[ollama 中添加模型](https://developer.lazycat.cloud/aipod/ollama/download-model.html) ### 第二步:open webui设置 打开算力舱的open webui软件后,需要我们自己注册账号和密码,这个你只要能够记住就可以了,随便写。 之后,刚刚在ollama中拉取的本地模型就可以使用,我们选取一个deepseek-r1:latest之后进行对话即可,当然不要沉迷于此,我们的目标是建立一个基于自有知识库的优质内容产出模型。 #### 语义向量化模型 直接点击左下角的黄色头像,选择管理员面板,找到里面的文档,然后设置好我们的语义向量化模型,因为我是openai的plus会员,想着能用就用,把openai后台生成的api填写进去之后就可以了,当然你也可以使用本地的ollama的,具体的api参见官方文档: [懒猫微服官方ollama API说明文档](https://developer.lazycat.cloud/aipod/ollama/app-use-ollama-api.html) #### 知识库的添加 看图即可  知识库的上传  完成后,这里的设置就算完成了。 #### 模型的添加 还记得刚刚的工作空间吧? 点击哪里的模型和右边的+号,会进入到这个界面: 按照图中设置的完成保存后,就可以了。提示词我们在工作空间中设置好给一个标识,后面可以/命令直接调用,也是蛮方便的。  ### 最终呈现 设置完了以上的内容后,我们用一个设置好的提示词来尝试着写一下,可以看到底部的信息中已经引用了我们自有知识库中的知识了。 
评论
0暂无评论