AI大模型使用GPU加速（python、CUDA、pytorch）

一、下载CUDA工具

第一步：确定当前系统环境（关键！）

首先，我们需要知道您现有的配置，以便选择正确版本的 CUDA。

1. 查看显卡驱动版本：
   再次运行nvidia-smi命令，记下最上方显示的Driver Version（驱动程序版本）。例如：515.48.07。
   CUDA 版本需要与驱动程序版本兼容。

2. 查看操作系统信息：
   按Win + R键，输入winver并回车，确认您的 Windows 版本（如 Windows 11 ）。

第二步：访问官方下载页面

访问 NVIDIA 官方 CUDA 工具箱下载页面，这是最安全可靠的来源：
https://developer.nvidia.com/cuda-downloads

第三步：选择并下载安装包

在官网页面，按以下步骤选择：

1. Operating System: 选择Windows。
2. Architecture: 选择x86_64。
3. Version: 选择您的Windows 版本（如 Windows 11）。
4. Installer Type:强烈推荐选择exe (local)。这是离线安装包，更稳定，不易因网络问题中断。
5. CUDA Version:这是最关键的选择！
   • 最佳选择：选择页面推荐的最新版本（如 CUDA 12.x）。通常最新的稳定版兼容性最好。
   • 保守选择：如果 OLLAMA 或您要用的其他AI工具有特定要求，请按其文档选择指定版本（如 CUDA 11.8）。但通常最新版没问题。

点击 "Download" 开始下载。安装包较大（约 2-3 GB）。

第四步：安装 CUDA 工具箱

1. 右键点击下载好的.exe安装文件，选择“以管理员身份运行”。
2. 安装程序会先解压到一个临时目录。
3. 在安装选项中，强烈建议选择自定义安装，而不是“精简”安装。
   • 这样可以避免安装程序可能覆盖您现有的、更新的显卡驱动。
4. 在自定义安装的组件列表中：
   • 务必勾选CUDA下的所有组件（尤其是CUDA Tools、CUDA Samples等）。
   • 仔细查看Driver components部分。如果其版本号低于您第一步中查到的当前驱动版本，请务必取消勾选这一项。如果相同或更高，则可以保留勾选。这一步是避免驱动冲突的关键！
5. 点击下一步，完成安装。安装时间可能较长。

方法 5：查看 CUDA 安装情况

# 查看 CUDA 版本 nvcc --version # 或查看 CUDA 安装路径 where nvcc

二、下载python3.11版本

第一步：下载

Python Release Python 3.11.9 | Python.org

第二步：安装

1. 运行安装程序：
   双击下载好的python-3.11.x-amd64.exe文件。

2. 关键步骤：勾选 "Add Python to PATH"！
   在安装向导的第一个界面，务必勾选最下方的 "Add python.exe to PATH" 复选框。这一步非常重要，它可以让你在命令提示符（CMD）或 PowerShell 中直接输入python命令。

3. 选择安装方式：

   立即安装：使用默认设置安装。
   自定义安装：允许您更改安装路径和功能。对于初学者，建议直接点击 "Install Now"。

4. 完成安装：
   等待安装完成，看到 "Setup was successful" 提示即表示安装成功。

5. 验证安装：
   打开一个新的命令提示符（CMD）或PowerShell，输入以下命令：

python --version

如果安装成功，你会看到输出：Python 3.11.x

如果提示 "python 不是内部或外部命令"，说明没有正确添加到 PATH。请重新运行安装程序，确保勾选了 "Add Python to PATH"。

三、下载支持 GPU 的 PyTorch 版本

选择一：安装最新的稳定版（推荐大多数用户）

这是最简单、最推荐的方法，兼容性最好。

使用 pip 安装（最通用）：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

注意：此命令针对的 CUDA 12.x 版本。

使用 conda 安装（如果您使用 Anaconda 或 Miniconda）：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

选择二：根据您已安装的 CUDA 版本选择（更精确）

如果您已经按照之前的步骤成功安装了 CUDA，请根据您的 CUDA 版本选择对应的命令：

1.CUDA 12.1

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

2.CUDA 11.8

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3.CPU 版本
如果您尚未安装 CUDA 或希望强制使用 CPU（作为备选方案）：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

四、验证安装

打开 Python 解释器或创建一个新的 Python 脚本（如test_gpu.py）。

逐行输入或写入以下代码并运行：

import torch # 1. 检查 PyTorch 版本 print(f"PyTorch 版本: {torch.__version__}") # 2. 检查 CUDA 是否可用（这是最关键的一步！） print(f"CUDA 是否可用: {torch.cuda.is_available()}") # 3. 如果 CUDA 可用，查看 CUDA 版本和显卡数量 if torch.cuda.is_available(): print(f"CUDA 版本: {torch.version.cuda}") print(f"可用的 GPU 数量: {torch.cuda.device_count()}") print(f"当前 GPU 名称: {torch.cuda.get_device_name(0)}") # 4. 进行一个简单的张量运算测试 # 在 CPU 上创建一个张量 cpu_tensor = torch.tensor([1.0, 2.0, 3.0]) print(f"张量在: {cpu_tensor.device}") # 应该输出 'cpu' # 将张量移动到 GPU 上 gpu_tensor = cpu_tensor.cuda() print(f"张量在: {gpu_tensor.device}") # 应该输出 'cuda:0' # 在 GPU 上进行计算 result = gpu_tensor * 2 print(f"计算结果: {result}") else: print("警告: 未检测到可用的 CUDA GPU。PyTorch 将仅在 CPU 模式下运行。")

运行结果

PyTorch 版本: 2.5.1+cu121 CUDA 是否可用: True CUDA 版本: 12.1 可用的 GPU 数量: 1 当前 GPU 名称: NVIDIA GeForce RTX **** 张量在: cpu 张量在: cuda:0 计算结果: tensor([2., 4., 6.], device='cuda:0')

如果返回True，恭喜您！您已成功安装支持 GPU 的 PyTorch。

故障排除

• torch.cuda.is_available()返回False？

  • 最常见原因：您安装的 PyTorch 版本与您系统上的 CUDA 版本不匹配。请回到 PyTorch 官网，确保根据您nvidia-smi中显示的 CUDA 版本选择正确的安装命令。
  • 其他原因：CUDA 驱动未正确安装，或显卡太老不支持当前 CUDA 版本。

• 安装过程缓慢或中断？

  • 可以考虑使用国内镜像源加速下载（如清华镜像）。使用-i参数：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple