如果你对AI有隐私保护的需求，又不喜欢网页版的ChatGPT，Jan这款AI应用正适合你。

Jan 是一个可在个人的设备上100%离线运行的 ChatGPT 替代品。我其目标是让普通人能够轻松下载和运行 LLMs，并使用具有完全控制和隐私的AI平台工具，github上33k star！

---

Jan AI的几个主要特性：

• 可使用本地AI模型：您可以从HuggingFace下载并运行LLMs（Llama、Gemma、Qwen 等）
• 云集成：可以连接使用 OpenAI、Anthropic、Mistral、Groq等API接口。
• 定制助手：为您的任务创建专门的 AI 助手
• 兼容 OpenAI 的API：可以在本地服务器启动API接口，用于其他应用程序调用。
• 模型上下文协议：支持MCP集成以增强功能
• 隐私优先：划重点，当你需要时注重隐私保护时，可以让所有操作都在本地运行。

既然是跨平台工具，那么Jan AI在macOS/Windows/Linux平台是都可以安装使用的。

如果是本地运行模型，就需要本地的GPU支持了，NVIDIA，MacOS M4系列等都可以，下面是对MacOS的基本安装需求：

我这里操作系统是Ubuntu 22.04，安装的话，可以从官网或者github上下载安装包，当前最新安装版本是
jan-linux-amd64-0.5.17.deb，文件比较大（1.1G），注意的是Ubuntu系统需要图形界面。

执行安装：

sudo dpkg -i jan-linux-amd64-0.5.17.deb

安装完成后就可以打开Jan了

本地下载模型，这里要能访问hf站点获取模型，没测试使用mirror是否可用，先下载小模式体验下，选择了qwen2.5:0.5b，379M。

下载完成之后，可以激活运行这个模型

这里是启动API服务

使用刚才下载的qwen2.5:0.5b的小模型进行简单的对话沟通下

还是老样子，简简单单问问菜谱吧，担心问题太难了AI答不上来，嘻嘻。

问题：水煮鱼的做法？

为了让API可以让其他人能访问到，可以使用proxy代理一下，这里是让API服务的端口绑定在0.0.0.0上，首先让局域网的朋友们体验下兼容ChatGPT的API。

慢慢的就膨胀起来，不满足于0.5b的小模型了，感觉我又行了。

可以看到，现在已经是有2个模型了，启动一个，另外一个就会Inactive。

当然你也可以配置使用网上已有的云端AI接口，这样有API和token/key等就可以直接接入使用了。这种云端AI需将用户数据上传至服务器，存在中间环节（如网络传输、服务商数据库）被截获或滥用的风险（如ChatGPT对话记录可能被用于模型训练）。好处就是云端AI接口性能强大，本地要跑个DeepSeek671b要求的配置可就高了，而且API接口方式即开即用，模型种类多，无论是大语言，语音，视频模型等都可以任意选择，可选择性那是相当大。

小吐槽：

我看Jan AI官网里面介绍了支持集成MCP服务，但是我这个Ubuntu下的版本看不到有MCP的相关内容，另外就是官网也说了它整合了很多AI工具，如集成编码工具Visual Studio Code相关的continue.dev，连接接Discord的llmcord，运行代码Open Interpreter以及n8n，tabby等，但我再这个deb版本上都没看到，难道Windows和Mac上是完整版？

总而言之，Jan AI还是非常不错的一款开源AI工具，喜欢的朋友可以试试看。

（全文完）