Serge 使用指南：你的私人AI聊天助手

## 什么是Serge？

简单来说，Serge就是一个可以在你自己电脑上跑的ChatGPT。不需要联网，不会泄露你的对话内容，完全免费，想聊多久聊多久。

想象一下：没有远程API，没有数据收集，没有广告的AI助手，就在你的微服电脑里，随时待命。这就是Serge的魅力所在。



https://appstore.lazycat.cloud/#/shop/detail/cloud.lazycat.app.serge



## 快速上手

应用安装后，打开首页

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/a13ea3dc-5371-442f-8dfb-da412ae1d980.png "image.png")

### 选择合适的模型

Serge支持多种AI模型，不同模型有不同特点：

- **7B模型**：速度快，内存占用少，适合日常对话
- **13B模型**：更聪明，回答质量更高，需要更多内存
- **30B+模型**：最智能，但需要大量内存和时间

**新手建议**：先试试7B模型，如果觉得回答质量不够再升级。

- 通用聊天/问答：选 LLaMA2、Mixtral、Mistral、Vicuna、Zephyr、OpenChat 等通用大模型。
- 代码生成/编程辅助：选 CodeLLaMA、Python-Code、Vicuna-Coder、Code、WizardLM（部分版本支持代码）。
- 医学相关：选 Med42、MedAlpaca、Medicine LLM、Meditron、PsyMedRP。

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/59268add-a941-46a1-95ed-ba1e392bf9fb.png "image.png")
点击下载（第一次下载会比较慢，耐心等待），左上角可以看到下载进度

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/8176c0b2-31d8-43fc-9278-52b23ed284b4.png "image.png")
下载完成后就可以开始聊天了

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/82397985-0ea9-4adb-9bc0-e7c257cfc40b.png "image.png")


### 优化对话质量

#### 调整参数设置
- **Temperature**：控制生成内容的随机性。
 • 数值越低（如 0.1），输出更稳定、保守。
 • 数值越高（如 0.8），输出更有创意、随机。
- Maximum generated tokens ：限制一次生成的最大“词”数量（token）。
 • 2048 表示最多生成 2048 个 token，token 通常比汉字或英文单词更短。

- Context Length ：模型能“记住”的最大输入长度。
 • 2048 表示最多能处理 2048 个 token 的上下文。

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/b339539e-6579-4f27-9207-25fac0c27d2b.png "image.png")
n_threads ：设置 CPU 并行线程数。
 • 数值越高，推理速度越快，但占用更多 CPU 资源。
- **Top P**：控制回答的多样性，一般保持默认值就好
- **Max Length**：限制回答的长度，避免AI说太多废话
#### 写好的提示词
```
你是一个专业的编程助手，请用简洁明了的语言回答我的问题。如果涉及代码，请提供可运行的示例。
```
点击 start，就可以开始对话了

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/164a5150-29e4-4059-9f3e-299d4b5f12b0.png "image.png")

我用 7B 的模型试了几轮对话，只能说是能用，流畅度不如 chatgpt，跟我的配置和模型有关系。如果是算力仓应该效果比较好。

 
在每次对话开始前，你可以设定一个系统提示，让AI扮演特定角色：

```
你现在是一名资深的产品经理，请从产品设计的角度来回答我的问题。
```

#### 多轮对话技巧
- **保持上下文**：Serge会记住之前的对话内容，充分利用这个特性
- **明确指令**：告诉AI你想要什么格式的回答（列表、段落、代码等）
- **逐步深入**：从简单问题开始，逐渐深入讨论

#### 回答速度太慢
- **选择更小的模型**：7B比13B快很多
- **关闭其他程序**：释放更多内存给Serge
- **检查系统资源**：确保CPU和内存没有被其他程序占满
下载的模型从应用数据里可以看到，及时做好备份

![image.png](https://dl.playground.lazycat.cloud/guidelines/496/ccb71b97-7964-4e02-826b-cac197e8851d.png "image.png")

## 总结

Serge是一个很棒的私人AI助手解决方案，特别适合：
- 重视隐私的用户
- 不想订阅服务的用户  
- 喜欢折腾的技术爱好者
- 需要离线AI功能的场景

虽然初始设置需要一些技术基础，但一旦配置好就非常好用。最重要的是，它完全属于你，没人能关掉它或者限制你的使用。