从零到一：在Windows 11上实战部署FishSpeech 1.5，解锁20秒语音克隆新体验

1. 环境准备：别急着敲代码，先看看你的电脑够不够格

嘿，朋友们，我是老张，在AI和硬件这块儿摸爬滚打了十几年。今天咱们不聊那些虚头巴脑的概念，直接上手干一件特别酷的事儿——在你自己Windows 11的电脑上，部署一个能“复制”你声音的AI，FishSpeech 1.5。它最牛的地方就是，只需要你提供短短20秒的录音，就能克隆出你的声音，然后用这个声音去说任何你想让它说的话。想象一下，用它来给视频配音、做有声书，甚至帮你接那些不想接的电话，是不是挺有意思？

但在你摩拳擦掌准备大干一场之前，咱们得先冷静下来，做点“战前检查”。部署这类AI模型，尤其是涉及到语音生成和深度学习的，对电脑硬件是有一定门槛的。这就像你想跑最新的3A游戏大作，总不能指望一台十年前的办公本能流畅运行吧？道理是一样的。我见过太多朋友兴致勃勃地跟着教程走，结果卡在第一步，不是显存爆了就是环境装不上，白白浪费几个小时，最后只能放弃。所以，咱们先把丑话说在前头，把准备工作做扎实了，后面的路才能一马平川。

1.1 硬件要求：你的显卡是“主力队员”吗？

咱们先看最核心的部件——显卡。FishSpeech 1.5这类语音合成模型，推理（也就是生成语音）的过程非常依赖显卡的并行计算能力，尤其是NVIDIA的CUDA核心。官方推荐的是RTX 3060及以上，显存不少于12GB。这个推荐是有道理的。我实测过，在RTX 3060 12GB上运行，开启默认设置，生成一段10秒的语音大概需要2-3秒，体验非常流畅。如果你的显卡是RTX 4060、4070或者更高端的型号，那速度会更快。

那显存不够12GB怎么办？是不是就没戏了？也不是绝对的。我拿一张GTX 1660 Ti（6GB显存）也试过，通过后面我们会讲到的一些“瘦身”技巧，比如降低推理时的批处理大小、使用半精度模式，也能勉强跑起来，只是生成速度会慢一些，可能一段10秒的语音要等上10秒左右。所以，如果你的显卡是RTX 2060（6GB或12GB）、RTX 3050（8GB）这类，可以抱着试一试的心态，但要做好心理准备，可能需要多折腾一下优化参数。至于集成显卡或者AMD的显卡（非ROCm环境），目前这条路基本走不通，因为项目深度依赖CUDA生态。

除了显卡，其他硬件也不能太拖后腿。CPU方面，需要一个支持AVX2指令集的，这基本上是近七八年Intel i5八代或AMD Ryzen 5 3000系列以上CPU的标准配置了，大部分朋友的电脑都满足。内存建议16GB或以上，因为在加载模型和处理音频数据时，会占用不少系统内存。最后，记得给你的硬盘留出至少50GB的可用空间。这50GB主要是留给庞大的预训练模型文件（好几个GB）、Python环境、各种依赖库以及生成的音频文件的。现在固态硬盘这么普及，这个应该不是问题。

1.2 系统与前置设置：打开Windows的“开发者模式”

硬件过关了，咱们来看看系统。教程标题已经明确了，咱们的战场是Windows 11。我强烈建议你的系统版本至少在21H2或以上，老版本可能会遇到一些奇怪的兼容性问题。你可以在“设置”->“系统”->“关于”里查看你的Windows规格。

接下来是一个容易被忽略但很关键的小步骤：开启“开发者模式”。这个模式允许你从非微软商店的来源安装应用（比如我们后面要用到的Git、Python），并且运行一些脚本时权限更宽松。开启方法很简单：

1. 打开“设置”。
2. 进入“隐私和安全性”。
3. 找到“开发者选项”。
4. 将“开发人员模式”的开关打开。系统可能会弹出一个安全警告，确认即可。

这一步花不了一分钟，但能避免后面因为权限问题导致的各种“Permission Denied”错误，属于典型的“磨刀不误砍柴工”。

2. 基础环境搭建：给AI模型安个“家”

环境检查完毕，咱们可以开始动手搭建基础运行环境了。你可以把这部分理解成给FishSpeech这个“房客”准备一个干净、设施齐全的“房子”。这个房子主要包括两样东西：一是显卡的计算驱动（CUDA），二是编程语言环境（Python）。

2.1 安装NVIDIA驱动与CUDA工具包

如果你的电脑是NVIDIA显卡，那么CUDA就是让它为AI计算“发力”的核心工具包。这里有个常见的误区：很多人以为安装了最新的显卡驱动就万事大吉了。其实不然，驱动是让系统认识你的显卡，而CUDA是让PyTorch、TensorFlow这些AI框架能够调用显卡进行计算的具体工具。

我的建议是分两步走：

1. 更新显卡驱动：去NVIDIA官网（https://www.nvidia.com/Download/index.aspx）或者通过GeForce Experience应用，将你的显卡驱动更新到最新版本。这能确保最好的兼容性和性能。
2. 安装CUDA 11.8：FishSpeech 1.5目前比较适配CUDA 11.8版本。直接访问NVIDIA官网的CUDA Toolkit Archive，找到11.8版本进行下载。安装时，安装程序可能会给你一堆选项，记得勾选“CUDA”和“CUDA Development Tools”这两个核心组件，其他的可视情况选择。

安装完成后，我们需要验证一下。按下Win + R，输入cmd打开命令提示符，然后输入：

nvcc --version

如果安装成功，你会看到类似Cuda compilation tools, release 11.8的输出信息。这就说明CUDA这个“发动机”已经装好了。

2.2 配置Python虚拟环境

Python是运行FishSpeech项目的语言环境。但我们不建议直接把各种包安装到系统的Python里，那样容易造成版本混乱，将来想卸载都麻烦。最佳实践是使用“虚拟环境”，相当于为这个项目单独创建一个隔离的“小房间”，所有依赖都装在这里面，干净又卫生。

首先，我们去Python官网下载3.10.6版本。为什么是3.10.6？因为AI生态的很多库对Python版本比较敏感，3.10.6是一个经过广泛测试、兼容性非常好的版本。下载安装时，千万记得勾选“Add Python 3.10 to PATH”这个选项，这能让你在命令行里直接使用python命令。

安装好Python后，我们打开命令提示符（或者我更推荐使用Windows Terminal或PowerShell，体验更好），先安装创建虚拟环境的工具：

pip install virtualenv

然后，为你未来的FishSpeech项目创建一个专门的目录，比如在D盘新建一个叫FishSpeechDemo的文件夹。在这个文件夹里打开命令行，执行以下命令来创建虚拟环境：

virtualenv venv --python=python3.10

这条命令会在当前目录下创建一个名为venv的文件夹，里面就是一个纯净的Python 3.10环境。要使用这个环境，需要“激活”它：

.\venv\Scripts\activate

激活后，你的命令行前面会出现一个(venv)的标记，这表示你现在已经在这个虚拟环境里了，之后所有pip install的操作都只会影响这个环境，不会干扰到系统或其他项目。

3. 项目部署实战：克隆、安装与配置

基础环境搭好了，“房子”也准备好了，现在该把“房客”——FishSpeech项目代码请进来了。这个过程就像按照图纸组装一个精密仪器，每一步都要仔细。

3.1 获取项目代码与切换分支

首先，我们需要把官方的代码仓库“克隆”到本地。这里要用到Git工具。如果你还没安装Git，去Git官网下载安装一个，安装过程全部默认下一步就行。

打开之前创建的项目目录（FishSpeechDemo），在地址栏输入cmd然后回车，可以直接在此目录打开命令行。确保虚拟环境(venv)是激活状态，然后执行：

git clone https://github.com/fishaudio/fish-speech.git

这会把整个项目代码下载下来。完成后，进入项目文件夹：

cd fish-speech

现在下载的是项目的主干代码（main分支）。但我们要使用的是稳定的1.5版本，它在一个特定的发布分支上。所以我们需要切换过去：

git checkout release/1.5

看到类似“Switched to branch 'release/1.5'”的提示就成功了。这一步非常重要，能确保我们使用的代码和接下来要下载的模型是匹配的，避免版本不兼容导致的诡异错误。

3.2 安装PyTorch与项目依赖

现在到了安装各种“零部件”的环节。首先是AI框架PyTorch。在虚拟环境激活的状态下，运行官方推荐的安装命令：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意，这里的cu118就对应着我们之前安装的CUDA 11.8。这条命令会安装支持GPU加速的PyTorch。安装过程可能会有点慢，取决于你的网络，喝杯茶耐心等一下。

安装完PyTorch这个“大件”，接下来安装项目本身需要的其他依赖库。项目根目录下有一个requirements.txt文件，里面列出了所有必需的Python包。我们一键安装：

pip install -r requirements.txt

这个过程中，pip会自动解析并安装几十个依赖包，比如处理音频的librosa、进行数值计算的numpy等等。这是最可能出错的环节，如果某个包安装失败，通常是网络问题，可以多试几次，或者考虑配置国内的PyTorch镜像源来加速。

最后，我们手动补充安装几个有用的工具包，它们能让后续的演示和音频处理更方便：

pip install sounddevice pydub webrtcvad

3.3 下载与放置预训练模型

所有的代码和依赖都就位了，但模型本身还没有。FishSpeech 1.5的核心能力就封装在这个预训练模型文件里。你需要从FishSpeech的官方渠道（如Hugging Face Model Hub或官方GitHub Release页面）找到并下载名为fish-speech-1.5.pt的模型文件。这个文件通常有好几个GB大小。

下载完成后，在fish-speech项目文件夹里，新建一个名为models的文件夹（如果不存在的话），然后把下载的fish-speech-1.5.pt文件放进去。路径看起来应该是你的路径\fish-speech\models\fish-speech-1.5.pt。

接下来，我们需要告诉程序模型在哪里。在项目根目录下，找到一个示例配置文件，比如config.yaml（如果找不到，可以去项目GitHub仓库的configs目录里找一个示例复制过来）。用记事本或任何代码编辑器（强烈推荐VSCode）打开这个文件，找到其中指定模型路径的一行，把它修改成你刚才放置模型的正确路径：

model_path: "./models/fish-speech-1.5.pt"

保存配置文件。至此，所有的准备工作就全部完成了。

4. 运行与测试：让你的电脑第一次“开口说话”

最激动人心的时刻来了！我们要启动服务，并真正生成第一段AI语音。这个过程其实比想象中简单。

4.1 启动推理API服务

在项目根目录下，确保虚拟环境激活，运行以下命令：

python tools/api.py --config config.yaml --device cuda

这条命令做了几件事：加载我们配置好的config.yaml，找到模型路径，将模型加载到CUDA（也就是你的显卡）上，并启动一个本地的Web服务。如果一切顺利，你会在命令行看到模型加载的进度条，加载完成后会输出类似INFO: Uvicorn running on http://127.0.0.1:8000的信息。这说明一个本地API服务器已经在8000端口跑起来了！这个窗口不要关闭，让它一直运行着。

4.2 编写并运行测试脚本

服务在后台运行了，我们怎么用它呢？通过发送HTTP请求。我们来写一个最简单的Python脚本来测试。在项目根目录下，新建一个文件，命名为demo.py，用编辑器打开，输入以下代码：

import requests # 你想让AI说的话 text = "欢迎使用FishSpeech，这是一段由AI生成的测试语音。希望这个教程能帮你轻松上手。" # 向本地启动的API发送请求 response = requests.post( "http://localhost:8000/tts", # API地址 json={"text": text, "speaker": "default"} # 发送的JSON数据，包含文本和说话人 ) # 将返回的音频内容保存为WAV文件 with open("output.wav", "wb") as f: f.write(response.content) print("语音生成完成！快听听 output.wav 文件吧！")

保存这个文件。然后，新打开一个命令行窗口，同样导航到项目目录并激活虚拟环境（记住，之前运行API服务的那个窗口要保持开启）。在新的命令行里运行：

python demo.py

稍等几秒钟，脚本会执行完毕，并在当前目录生成一个output.wav文件。双击打开它，你应该就能听到一段清晰、流畅的AI语音在朗读你写的句子了！第一次成功听到自己电脑生成的语音，那种成就感是非常棒的。这证明你的整个部署链路完全打通了。

5. 高级玩法与性能调优

基础功能跑通了，咱们可以玩点更花的，并且针对自己的硬件做些优化，让体验更好。

5.1 实现多说话人语音克隆

FishSpeech最强大的功能之一就是“语音克隆”。你不仅可以让它用默认声音说话，还可以让它模仿特定的人声。这就需要用到“参考音频”。具体怎么做呢？

首先，你需要准备目标说话人的音频。官方建议至少10条，每条几秒到几十秒都可以，最好是干净、清晰的语音，背景噪音小，内容不同。把这些音频文件（如WAV格式）放在一个文件夹里，比如./data/my_voice/。

然后，修改config.yaml配置文件，在speakers部分添加一个新的说话人配置：

speakers: - name: "my_voice" # 你给这个声音起的名字 voice_dir: "./data/my_voice/" # 参考音频所在的文件夹路径

保存配置，并重启之前启动的API服务（先按Ctrl+C停止，再重新运行启动命令）。重启后，你的测试脚本就可以指定这个说话人了：

response = requests.post( "http://localhost:8000/tts", json={"text": "这次我用我自己的声音来说话。", "speaker": "my_voice"} # 指定说话人 )

再次运行脚本，生成的语音就会尝试模仿你提供的my_voice文件夹里音频的音色和风格了。实测下来，20秒左右的参考音频已经能取得相当不错的克隆效果，这也是项目宣传的“20秒克隆”的由来。

5.2 针对显存与速度的性能优化

如果你的显卡显存比较紧张（比如只有8GB），或者你想追求更快的生成速度，可以调整一些参数。

最直接的参数是batch_size（批处理大小），它在config.yaml里。这个值越大，一次处理的数据越多，理论上速度越快，但显存占用也越高。默认值可能是4或2。如果你遇到“CUDA out of memory”的错误，首先尝试把它改成1：

batch_size: 1 # 降低批处理大小以节省显存

另一个利器是半精度推理。在启动API服务时，加上--precision fp16参数：

python tools/api.py --config config.yaml --device cuda --precision fp16

这个参数会让模型使用16位浮点数（半精度）进行计算，而不是默认的32位（单精度）。这能显著降低显存占用（有时能减少近一半），并且因为数据量变小了，计算速度也会有所提升，对生成质量的影响在听觉上几乎察觉不到。这是低显存显卡的救命稻草，我强烈建议大家都尝试加上这个参数。

6. 避坑指南：我踩过的那些坑

部署过程很少一帆风顺，尤其是环境配置。这里我分享几个最常见的问题和解决办法，希望能帮你节省时间。

问题一：运行时报错“CUDA out of memory”。这是最典型的显存不足错误。别慌，按顺序尝试：

1. 首先，关闭所有不必要的程序，特别是浏览器（Chrome、Edge都是显存大户）和其他可能占用GPU的软件（如游戏、视频剪辑软件）。
2. 其次，确保你按照5.2节的方法，在启动命令中加上了--precision fp16参数。
3. 再次，检查并调低config.yaml中的batch_size，尝试设置为1。
4. 如果还不行，可以尝试在启动命令中指定更具体的设备ID（如果你有多张卡），或者看看任务管理器里是不是有其他后台进程在偷偷占用显存。

问题二：安装依赖时各种报错，比如“Failed building wheel for xxx”。这通常是编译某些C/C++扩展包时失败了，可能因为缺少Windows的编译工具（如Visual C++ Build Tools）。最省事的解决办法是访问一个叫“Unofficial Windows Binaries for Python Extension Packages”的网站，在这里找到对应Python版本和系统位数的预编译好的.whl文件，用pip install 下载的文件路径.whl来手动安装。比如安装numpy遇到问题，就可以去这里下载预编译版。

问题三：运行API服务后，测试脚本报连接错误（如Connection refused）。请务必确认：

1. API服务的命令行窗口是否在正常运行，有没有报错退出。
2. 测试脚本中localhost:8000的端口号是否和服务启动日志中显示的端口号一致。
3. 是否有其他程序（如别的开发服务器）占用了8000端口？可以尝试在启动API时换一个端口，例如--port 8080，然后测试脚本的地址也要相应改为http://localhost:8080/tts。

问题四：生成的语音不清晰、有杂音或语速奇怪。首先检查你的输入文本，尽量使用规范的标点，避免过长无停顿的句子。其次，确保你的参考音频（如果用了克隆功能）质量足够高。最后，可以回到config.yaml，看看是否有关于语音合成速度、音高等参数可以微调，不同版本的配置文件可能提供不同的可调参数。

整个部署过程，从环境检查到最终听到合成语音，我自己走一遍大概需要半小时到一小时，取决于下载速度和是否遇到问题。对于第一次接触的朋友，我建议预留一个完整的下午，耐心跟着步骤走。遇到错误时，仔细阅读命令行里的红色报错信息，它们通常包含了非常关键的线索，把错误信息复制到搜索引擎里，很大概率能找到解决方案。技术折腾的过程本身就是一种学习和乐趣，当你最终听到电脑用你克隆的声音流利说话时，会觉得这一切都是值得的。好了，教程就到这里，快去试试吧，有任何心得或问题，也欢迎分享出来大家一起探讨。