如何在Windows 11和10上本地运行QWEN AI
阿里巴巴集团最新的人工智能模型Qwen AI为文本生成,信息检索和创意任务提供了令人印象深刻的功能。虽然它主要作为Web应用程序可用,但实际上您可以在Windows 11或10 PC上本地运行QWEN AI。这为您提供了离线访问,改善隐私和可能更好的性能。让我们介绍在本地机器上设置QWEN AI的过程。
您需要什么
在我们潜水之前,请确保您有以下内容:
了解更多:Qwen vs DeepSeek:下一代AI模型之战
- Windows 11或10 PC,具有足够的处理能力和存储空间。
- 管理访问您的计算机。
- 初始设置的稳定Internet连接。
方法1:使用Ollama和Docker
此方法提供了具有用户界面和保存聊天历史记录的功能的更强大的设置。
步骤1:安装Ollama
步骤1:访问Ollama网站并下载Windows安装程序。
步骤2:运行安装程序,然后按照屏幕提示完成安装。
步骤3:安装后,启动Ollama并将其运行在后台。
步骤2:安装QWEN AI模型
步骤1:打开您的网络浏览器并导航到Ollama网站。单击“模型”选项卡。
步骤2:在搜索栏中,键入“ QWEN”以查找可用的QWEN AI模型。
步骤3:选择要使用的QWEN型号。对于本指南,我们将使用QWEN2.5。单击它以查看可用的参数尺寸。
步骤4:选择计算机可以处理的参数大小。较小的尺寸(例如0.5B)更快但先进的速度较低,而较大的尺寸提供了更多的功能,但需要更多的资源。
步骤5:复制所选模型和参数大小的安装命令。例如,要安装具有5亿参数的QWEN2.5,该命令是:
ollama run qwen2.5:0.5b
步骤6:打开命令提示符作为管理员,粘贴复制命令,然后按Enter。安装过程将开始。在完成之前,请勿关闭命令提示。
步骤3:安装Docker
步骤1:访问官方Docker网站,然后下载用于Windows的Docker桌面。
步骤2:安装Docker Desktop,按照提示,如有必要,以创建帐户。
步骤3:安装后,启动Docker桌面并确保其在后台运行。
步骤4:设置QWEN AI容器
步骤1:打开命令提示符作为管理员并运行以下命令,以创建Qwen AI的Docker容器:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
步骤2:等待命令完成。这可能需要几分钟,具体取决于您的互联网速度和计算机性能。
步骤5:本地访问QWEN AI
步骤1:打开Docker桌面应用程序,并在“容器”部分中查找新创建的容器。
步骤2:单击容器旁边的“ 3000:8080”链接。这将打开您的默认Web浏览器localhost:3000。
步骤3:为本地QWEN AI使用创建帐户。请记住这些登录详细信息,因为每次使用本地版本时都需要它们。
现在,您可以通过此本地Web界面与QWEN AI进行交互。请记住要让Ollama和Docker容器在后台运行以使系统工作。
方法2:命令行的用法
如果您喜欢更简单的设置或不需要图形接口,则可以直接从命令行使用QWEN AI。
步骤1:遵循方法1的Ollama安装和QWEN AI模型安装步骤。
步骤2:要与QWEN AI聊天,请打开命令提示符,并运行与用于安装模型的相同命令。例如:
ollama run qwen2.5:0.5b
步骤3:现在,您可以将查询直接键入命令提示符,并从QWEN AI接收响应。
此方法更快地设置,但不能保存聊天历史记录或提供图形接口。
在本地运行QWEN AI使您可以更多地控制数据,并允许脱机访问此功能强大的AI工具。尽管它需要一些初始设置,但隐私的好处和潜在的性能提高使其成为许多用户的值得选择。请记住,选择计算机可以舒适地处理的型号尺寸,以获得最佳体验。
