# 雨云GPU云服务器搭建"ChatGPT"—GPT4All本地部署

**URL:** <https://forum.rainyun.com/t/topic/7013>\
**Category:** 云服务器 RCS\
**Created:** [2024 年2 月 20 日 17:52 UTC](https://forum.rainyun.com/t/topic/7013 "2024-02-20T17:52:44Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

作者： ![zeruns](https://forum.rainyun.com/user_avatar/forum.rainyun.com/zeruns/32/445_2.png) [@zeruns](https://forum.rainyun.com/u/zeruns)\
发布日期： [2024 年2 月 20 日 17:52 UTC](https://forum.rainyun.com/t/topic/7013/1 "2024-02-20T17:52:44Z")

</div>

雨云GPU云服务器搭建自己的"ChatGPT"—GPT4All本地部署，大语言模型搭建教程。雨云GPU云服务器使用教程。

## 什么是GPT4All

GPT4All是Nomic AI公司开源的一个类似ChatGPT的模型，它是基于MetaAI开源的LLaMA微调得到的其最大的特点是开源，并且其4-bit量化版本可以在CPU上运行！GPT4All是在大量干净数据上训练的一个开源聊天机器人的生态系统。它不用科学上网！甚至可以不联网！本地就能用。接下来咱们就是实战一下如何体验GPT4All。支持的系统包括Mac/OSX、Windows、Ubuntu市面上常用的所有操作系统。

GPT4All模型是一个3GB - 8GB的文件，您可以下载并插入GPT4All开源生态系统软件。特别强调是GPT4All是遵循非商业化协议，所以不能用于商业用途。

## 准备

首先需要一台GPU云服务器，这里推荐雨云的GPU云服务器：

**雨云优惠注册地址：[https://www.rainyun.com/ryy\_?s=rainbbs](https://www.rainyun.com/zeruns_?s=rainbbs)**

**优惠码：ryy**

**使用优惠码注册后绑定微信可获得5折优惠券**

雨云P40显卡云服务器上线了！8核8G内存 4G显存 25兆 仅需168元/月：[https://forum.rainyun.com/t/topic/7003](https://forum.rainyun.com/t/topic/7003)

注册完账号后进到雨云控制台， **云服务器** 入口可以在后台的 **总览** 和 **云产品** 部分找到：

 ![](https://forum.rainyun.com/uploads/default/original/2X/b/b4e61d56c77323514e6d5e08652206d8a16f349f.png)

点击 **购买云服务器** ，区域选择 **江苏宿迁** ，配置选择 **Tesla P40** 。

 ![](https://forum.rainyun.com/uploads/default/original/2X/3/31046513d8e053e9c18cc297a714c21b1786b628.png)

套餐建议选择 **旗舰版** ，因为很多AI模型要求最少8G内存/显存，系统选 **Windows** 。

选好后点 **立即购买** ，也可以点试用，显卡云可以5元试用一天。

 ![](https://forum.rainyun.com/uploads/default/original/2X/3/3700ff9887858b43e68ad4474c5069cae0c0f01d.png)

购买后即可在我的云服务器这里看到你买的VPS，点击这个卡片或者 **管理** 键。

 ![](https://forum.rainyun.com/uploads/default/original/2X/c/c9cc616b8f3aa5092f0cc9efeaff012bfbdd2d70.png)

接着就可以看到云服务器的信息了，在这里重装/切换系统，可以升级配置。

 ![](https://forum.rainyun.com/uploads/default/original/2X/6/6a1b730b9376ff417d384dc003b02d5eaefd87fd.png)

## 连接服务器

在自己电脑上打开windows自带的远程桌面软件（RDP）

 ![](https://forum.rainyun.com/uploads/default/original/2X/2/288fc3376914afd3c7b5a8410ef68e33ce7c0025.jpeg)

输入你服务器的远程连接地址和端口（一般远程桌面的默认端口是3389，因为我选的NAT模式，共用公网IP，所以3389端口被映射到56966，你的不一定是这个端口，根据自己实际情况输入），点击显示选项。

 ![](https://forum.rainyun.com/uploads/default/original/2X/5/5ea64b24b2ccc866811737efa67e890e71257193.png)

用户名输入默认的Administrator，然后点击连接。

 ![](https://forum.rainyun.com/uploads/default/original/2X/a/af29fe26bc5f7b7bb274ca3ab0add023723db842.png)

接着输入密码并确定。

 ![](https://forum.rainyun.com/uploads/default/original/2X/5/5a32a19af7a43b253101bed12319fb7925cacc48.png)

如果弹出这个框就直接点是

 ![](https://forum.rainyun.com/uploads/default/original/2X/6/6652847a2c8a8cdcde55ca3bbb887cc926e25888.png)

然后就连接上服务器了

## GPT4All安装和使用

首先需要下载安装包到服务器里：

GPT4All官网：[https://gpt4all.io](https://gpt4all.io)

 ![](https://forum.rainyun.com/uploads/default/original/2X/c/c42c714c78e369eccfeb676fd10f3aff057ec74c.png)

我这里下载了Windows版的安装包放网盘里了，如果进不去官网可以在这个链接下载：[https://www.123pan.com/s/2Y9Djv-dMcvH.html](https://www.123pan.com/s/2Y9Djv-dMcvH.html)

下载好后双击打开安装包，点击下一步。

 ![](https://forum.rainyun.com/uploads/default/original/2X/e/edda8c3fe98bb05e63424342d525dda8d132eeab.png)

选择安装目录，默认就行，点击下一步。

 ![](https://forum.rainyun.com/uploads/default/original/2X/7/799aa865d91d2862bffefe8e3a9d092551db802e.png)

选择组件，直接点击下一步。

 ![](https://forum.rainyun.com/uploads/default/original/2X/c/c45dc48145e74123f23c9e1943d5cc3f6c268e85.png)

点击接受许可协议，下一步。

 ![](https://forum.rainyun.com/uploads/default/original/2X/3/34a775d2e2c4df0b1366cb1f090b47d20866c290.png)

直接点击下一步。

 ![](https://forum.rainyun.com/uploads/default/original/2X/2/2481a102ceaae7ad7fcd7560ffcb8c5fb4070419.png)

点击安装。

 ![](https://forum.rainyun.com/uploads/default/original/2X/0/055ce64a3e1d3d6f2035733f641e221eec13d7df.png)

安装完成后点击下一步，再点击完成就行。

 ![](https://forum.rainyun.com/uploads/default/original/2X/a/a910f579e796d64ac2785f602a1c307cdd08200f.png)

双击打开桌面这个GPT4All的图标

 ![](https://forum.rainyun.com/uploads/default/original/2X/4/4db9863afc9869205ee860a6fbaefa74022241eb.png)

勾选这两个Yes

 ![](https://forum.rainyun.com/uploads/default/original/2X/5/529950df7fd9393f8a73aca23cbe8e50a8c51b58.jpeg)

选择一个模型来下载，我这里选择`GPT4AII Falcon`。

注意：由于国内网络问题，所以需要你自己科学上网才能下载模型（只有获取模型列表时需要科学上网，模型列表加载出来后下载模型时可以关掉科学上网）。

也可以到官网自己下一个别的模型导入进去。

 ![](https://forum.rainyun.com/uploads/default/original/2X/0/00a822fbae7f52f5fbe97c3bfbf83cb448693baa.jpeg)

下载完成后关闭下载模型的窗口就可以看到聊天框了，聊天框上方可以选择要运行的模型。

 ![](https://forum.rainyun.com/uploads/default/original/2X/6/67bbb4201a66d8169eae2eff8c8f40566f5f1548.jpeg)

由于`GPT4AII Falcon`模型需要8G显存跑（也可以用CPU+内存来跑，不过速度慢很多），而我购买的机型是4G显存的，所以我这里改成选择`Mini Orca(small)`模型，这个模型仅需4G显存。

 ![](https://forum.rainyun.com/uploads/default/original/2X/e/e5bc504132c06732fb4833cc20e30fa9f243bdc2.jpeg)

用CPU+内存跑`GPT4AII Falcon`模型。

 ![](https://forum.rainyun.com/uploads/default/original/2X/5/5bdf04ef1746d30111eae92d8960cb1f0d36cf86.jpeg)

## 推荐阅读

- 雨云OSS服务介绍和使用教程，Chevereto图床使用雨云OSS的教程：[https://forum.rainyun.com/t/topic/5573/](https://forum.rainyun.com/t/topic/5573/)
- PicGo+雨云ROS搭建自己的图床，可配合Typora使用：[https://forum.rainyun.com/t/topic/5659/](https://forum.rainyun.com/t/topic/5659/)
- 雨云游戏云MCSM面板服使用&我的世界Forge服务端开服教程：[https://forum.rainyun.com/t/topic/5727](https://forum.rainyun.com/t/topic/5727)
- 雨云虚拟主机使用教程&WordPress博客网站搭建教程：[https://forum.rainyun.com/t/topic/5769](https://forum.rainyun.com/t/topic/5769)
- 雨云VPS搭建PalWorld服务器，幻兽帕鲁开服联机教程（Windows）：[https://forum.rainyun.com/t/topic/6786](https://forum.rainyun.com/t/topic/6786)