如何在 Windows 上设置 LocalGPT：初学者指南

大型语言模型彻底改变了自然语言处理，但使用它们通常需要将数据发送到外部服务器。 LocalGPT 提供了一种解决方案，允许您直接在 Windows PC 上运行这些模型，从而确保完全的隐私和对数据的控制。本指南将引导您完成 LocalGPT 的设置过程，从安装到首次交互。

什么是本地GPT？

LocalGPT 是一款受 privateGPT 启发的开源工具，旨在在本地设备上运行大型语言模型 (LLM)。与其前身不同，LocalGPT 支持 GPU 加速以提高性能，并使用 Vicuna-7B LLM 和 InstructorEmbeddings 来实现高效处理。此设置允许您在没有互联网连接的情况下与 AI 模型进行交互，从而将您的数据完全保存在您的系统上。

先决条件

在我们开始之前，请确保您拥有：

• 一台至少具有 8GB RAM（建议 16GB）的 Windows PC。
• 管理员访问您的计算机。
• 大约 10GB 可用磁盘空间。
• NVIDIA GPU（可选，但建议使用以获得更好的性能）。

步骤一：安装迷你康达

Miniconda 是 Anaconda 的轻量级版本，我们将用它来管理 Python 环境：

1. 访问 Miniconda 网站并下载最新的 Windows 安装程序。

2. 运行安装程序并按照提示操作。当您到达“高级安装选项”时，选择所有复选框。

3.安装后，打开“开始”菜单并搜索“Anaconda Prompt”。打开它并输入conda list来验证安装。

步骤2：下载本地GPT

1. 转到 LocalGPT GitHub 存储库。

2. 单击“代码”按钮并选择“下载 ZIP”。

3. 将 ZIP 文件解压缩到您可以轻松访问的位置，例如桌面。

4. 为简单起见，将解压的文件夹重命名为“LGPT”。

步骤3：设置环境并安装依赖项

1. 从“开始”菜单打开 Anaconda 提示符。

2. 通过运行以下命令创建新环境：

conda create -n localgpt python=3.10
conda activate localgpt

3. 导航到您的 LocalGPT 文件夹：

cd Desktop
cd LGPT

4.安装所需的包：

pip install -r requirements.txt

如果遇到“torch ModuleNotFoundError”，请运行：

pip install torch torchvision torchaudio

如果您看到“需要 Microsoft C++”错误，请从提供的链接下载并安装 Visual Studio 构建工具。

第4步：准备并运行 LocalGPT

1. 通过运行以下命令导入您的文档：

python ingest.py

此过程可能需要一些时间，具体取决于您导入的数据量。

了解更多：macOS 初学者指南：初学者如何使用 Mac

2. 打开constants.pyLocalGPT 目录中的文件。注释掉 Llama 3 模型行并取消注释 Llama 2 模型（7B 参数）行。

3.启动LocalGPT：

python run_local_gpt.py

如果您收到有关缺少“llama”的错误，请运行：

pip install llama-cpp-python

使用本地GPT

LocalGPT 运行后，您可以开始通过命令行界面与其交互。提出与您获取的文档相关的问题，LocalGPT 将根据其本地知识库提供答案。

请记住，响应的质量取决于您提供的数据和您使用的模型。尝试不同的查询以感受其功能。

常见问题故障排除

未检测到 GPU：如果您有 NVIDIA GPU 但 LocalGPT 未使用它，请确保您安装了最新的 CUDA 驱动程序，并且您的 GPU 与安装的 PyTorch 版本兼容。

内存不足错误：如果您遇到内存不足错误，请尝试减小模型大小constants.py文件或关闭其他资源密集型应用程序。

性能缓慢：在没有 GPU 的系统上，处理速度可能会很慢。考虑使用较小的模型或减少您摄取的数据量。

在 Windows 上设置 LocalGPT 为私人、离线 AI 交互打开了一个充满可能性的世界。随着您对系统越来越熟悉，您可以探索高级功能，例如交换模型或针对特定任务进行微调。请记住确保本地模型和数据的安全，因为它们包含 LocalGPT 用于生成响应的所有信息。