ChatGLM3-6B部署实操：NFS共享模型权重+多节点负载均衡方案

ChatGLM3-6B部署实操：NFS共享模型权重+多节点负载均衡方案

1. 引言：为什么需要更聪明的部署方式？

如果你尝试过在本地部署大模型，大概率会遇到这两个头疼的问题：硬盘空间告急和单机性能瓶颈。

想象一下，你有一台性能强劲的RTX 4090D服务器，成功部署了ChatGLM3-6B，体验丝滑流畅。但很快，团队其他同事也想用，于是你开始重复劳动：在第二台、第三台服务器上，一遍又一遍地下载那几十个GB的模型文件。硬盘空间被迅速吞噬，管理起来一团乱麻。

更麻烦的是，当多人同时访问你的单机服务时，显存很快被占满，响应速度直线下降，用户体验从“丝滑”变成了“卡顿”。

这不仅仅是资源浪费，更是效率的杀手。有没有一种方法，能让模型文件只存一份，所有服务器都能用？能不能让多台服务器一起工作，分担压力？答案是肯定的。本文将手把手带你搭建一套基于NFS共享模型权重的多节点负载均衡ChatGLM3-6B服务，彻底解决上述痛点。

2. 方案全景图：从单点突破到集群协作

在开始动手之前，我们先看看整体架构，理解每一步的目的。

传统的单机部署像是开了一家“夫妻店”，所有东西（模型、服务）都堆在一台机器上。而我们今天要搭建的，是一个“连锁店”体系。

核心架构分为三层：

1. 存储层（中央仓库）：由一台服务器充当NFS服务端，上面只存放一份ChatGLM3-6B模型文件。它是所有数据的唯一来源。
2. 计算层（营业门店）：多台搭载GPU（如RTX 4090D）的服务器作为NFS客户端。它们通过网络挂载中央仓库的模型目录，直接读取模型权重进行加载和推理，自身不保存模型副本。
3. 接入层（调度中心）：使用Nginx作为反向代理和负载均衡器。用户不直接访问某台计算服务器，而是访问Nginx。由Nginx根据策略（如轮询）将请求分发到后端的多台计算服务器上。

这样做带来的好处是显而易见的：

• 节省存储：模型文件全局一份，N台机器节省了N-1份硬盘空间。
• 部署高效：新增加计算节点时，无需重新下载模型，只需挂载NFS目录即可，分钟级扩容。
• 负载均衡：多台GPU服务器共同分担请求压力，提高系统整体吞吐量和并发能力。
• 维护方便：模型升级或替换时，只需在NFS服务端操作一次，所有计算节点下次加载时自动生效。

接下来，我们进入具体的实操环节。

3. 基础环境准备与模型获取

无论采用何种架构，一个干净、稳定的基础环境是成功的基石。我们首先在NFS服务端（也是其中一台计算节点）上完成这一步。

3.1 创建并激活专用Python环境

使用Conda或venv创建独立环境，避免包冲突。

# 使用 conda 创建环境（推荐） conda create -n chatglm3_deploy python=3.10 conda activate chatglm3_deploy # 或者使用 venv python -m venv chatglm3_env source chatglm3_env/bin/activate # Linux # chatglm3_env\Scripts\activate # Windows

3.2 安装核心依赖

这里严格锁定版本，确保与ChatGLM3-6B-32k的兼容性，这是实现“零报错”的关键。

pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install transformers==4.40.2 streamlit

3.3 下载ChatGLM3-6B-32k模型

我们从官方渠道下载模型，并存放在一个准备用于共享的目录下，例如/data/models。

# 创建模型存储目录 sudo mkdir -p /data/models sudo chown -R $USER:$USER /data/models # 更改所有权，方便操作 # 进入目录并下载模型 cd /data/models git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git ChatGLM3-6B-32k

下载完成后，/data/models/ChatGLM3-6B-32k目录下就是完整的模型文件。这台服务器将同时扮演NFS服务端和第一个计算节点。

4. 搭建NFS共享存储（中央仓库）

现在，我们将/data/models目录通过NFS协议共享给网络内的其他服务器。

4.1 在服务端安装与配置NFS

首先，在存放模型的那台服务器上操作。

# 安装NFS服务器软件包（以Ubuntu/Debian为例） sudo apt update sudo apt install nfs-kernel-server -y # 编辑NFS导出配置文件 sudo vim /etc/exports

在/etc/exports文件中添加以下内容，允许指定网段的客户端以读写方式挂载：

/data/models 192.168.1.0/24(rw,sync,no_subtree_check,no_root_squash)

• /data/models：要共享的目录路径。
• 192.168.1.0/24：允许访问的客户端网段，请根据你的内网IP段修改。
• rw：读写权限。
• sync：同步写入，保证数据一致性。
• no_subtree_check：提高性能。
• no_root_squash：允许客户端root用户保持权限，对访问模型文件有时是必要的。

保存后，启动NFS服务并应用配置。

# 使配置生效 sudo exportfs -a # 重启NFS服务 sudo systemctl restart nfs-kernel-server # 设置开机自启 sudo systemctl enable nfs-kernel-server

4.2 在客户端挂载NFS目录

现在，到另一台想要作为计算节点的服务器（客户端）上操作。

# 安装NFS客户端工具 sudo apt update sudo apt install nfs-common -y # 创建本地挂载点 sudo mkdir -p /mnt/nfs/models # 挂载NFS共享目录 sudo mount -t nfs <NFS_SERVER_IP>:/data/models /mnt/nfs/models

请将<NFS_SERVER_IP>替换为第一步中那台服务器的实际内网IP地址。

验证挂载：

df -h | grep nfs # 应该能看到类似 /mnt/nfs/models 的挂载信息 ls /mnt/nfs/models/ # 应该能看到 ChatGLM3-6B-32k 目录

设置开机自动挂载（可选但推荐）：

echo "<NFS_SERVER_IP>:/data/models /mnt/nfs/models nfs defaults 0 0" | sudo tee -a /etc/fstab

至此，客户端服务器上的/mnt/nfs/models/ChatGLM3-6B-32k就指向了服务端的模型文件。在这台客户端上，你同样需要按照第3节的步骤配置Python环境和依赖（注意路径差异）。

5. 开发Streamlit应用并适配NFS路径

我们需要一个简单的Streamlit应用来加载模型并提供Web界面。关键点在于，代码中加载模型的路径需要指向NFS挂载点。

5.1 编写Streamlit应用脚本

在任何一台计算节点（包括服务端）上，创建一个应用脚本app.py。

# app.py import streamlit as st from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 设置页面标题 st.set_page_config(page_title="ChatGLM3-6B 负载均衡节点", layout="wide") st.title("🤖 ChatGLM3-6B 智能助手 (NFS共享版)") # --- 关键步骤：从NFS路径加载模型 --- # 假设NFS挂载点在 /mnt/nfs/models，请根据实际情况调整 MODEL_PATH = "/mnt/nfs/models/ChatGLM3-6B-32k" # 如果是服务端本身，也可以直接用原始路径 /data/models/ChatGLM3-6B-32k @st.cache_resource def load_model_and_tokenizer(): """加载模型和分词器，利用Streamlit缓存避免重复加载""" st.info(f"正在从共享目录加载模型...路径: {MODEL_PATH}") tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, trust_remote_code=True, torch_dtype=torch.float16, # 半精度加载，节省显存 device_map="auto" # 自动分配模型层到GPU ).eval() st.success("模型加载成功！") return tokenizer, model # 加载模型 tokenizer, model = load_model_and_tokenizer() # 初始化会话历史 if "messages" not in st.session_state: st.session_state.messages = [{"role": "assistant", "content": "你好，我是ChatGLM3-6B，有什么可以帮您？"}] # 显示历史对话 for msg in st.session_state.messages: with st.chat_message(msg["role"]): st.markdown(msg["content"]) # 聊天输入框 if prompt := st.chat_input("请输入您的问题..."): # 用户输入 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) # 助手回复（流式） with st.chat_message("assistant"): message_placeholder = st.empty() full_response = "" # 调用模型生成回复 for response in model.stream_chat(tokenizer, prompt, history=st.session_state.messages[:-1]): full_response = response[0] message_placeholder.markdown(full_response + "▌") message_placeholder.markdown(full_response) # 更新历史 st.session_state.messages.append({"role": "assistant", "content": full_response})

5.2 启动应用进行测试

在每台计算节点上，确保环境已激活，并运行：

streamlit run app.py --server.port 8501 --server.address 0.0.0.0

访问http://<该节点IP>:8501，你应该能看到界面，并能正常进行对话。这证明单节点在NFS模式下工作正常。

6. 配置Nginx实现负载均衡（调度中心）

现在我们有多个运行在8501端口的Streamlit应用（假设节点A IP为192.168.1.100，节点B IP为192.168.1.101）。我们需要一个统一的入口来分发请求。

6.1 安装与配置Nginx

在一台独立的服务器或任一个计算节点上安装Nginx。

sudo apt update sudo apt install nginx -y

编辑Nginx的配置文件，设置上游服务器组和代理规则。

sudo vim /etc/nginx/sites-available/chatglm3_lb

写入以下配置（假设Nginx本身运行在8080端口）：

upstream chatglm3_backend { # 这里列出所有Streamlit应用节点的IP和端口 server 192.168.1.100:8501; server 192.168.1.101:8501; # 可以继续添加更多 server 192.168.1.102:8501; } server { listen 8080; server_name _; location / { proxy_pass http://chatglm3_backend; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 以下两行对Streamlit的WebSocket连接很重要 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } }

6.2 启用配置并测试

# 创建软链接启用配置 sudo ln -s /etc/nginx/sites-available/chatglm3_lb /etc/nginx/sites-enabled/ # 测试配置语法 sudo nginx -t # 重新加载Nginx配置 sudo systemctl reload nginx

现在，访问http://<Nginx服务器IP>:8080，Nginx会以轮询的方式将你的请求转发到后端的两个ChatGLM3节点上。你可以通过查看不同节点上Streamlit应用的日志来验证负载均衡是否生效。

7. 方案总结与优化建议

通过以上步骤，我们成功构建了一个由NFS统一存储、多GPU节点计算、Nginx负载均衡组成的ChatGLM3-6B高可用部署方案。回顾一下核心优势：

1. 存储效率最大化：一份模型，多处使用，节省了大量磁盘空间和下载时间。
2. 性能与扩展性兼得：利用多台GPU服务器的算力，轻松应对高并发请求。需要扩容时，只需在新机器上挂载NFS、配置环境、启动应用，然后在Nginx配置中添加一行即可。
3. 维护成本极低：模型更新、版本升级只需在NFS服务端操作一次。
4. 数据与计算分离：架构清晰，便于后续升级存储（如换成更高性能的NAS）或计算资源。

进一步的优化建议：

• NFS性能：对于超大规模或高性能需求，可以考虑使用性能更好的分布式文件系统（如Ceph、GlusterFS）或商业NAS。
• 会话保持：默认的轮询策略可能导致用户的多轮对话被分配到不同节点，破坏上下文。可以在Nginx中配置ip_hash策略来实现基于源IP的会话保持。

  upstream chatglm3_backend { ip_hash; # 添加此行 server 192.168.1.100:8501; server 192.168.1.101:8501; }

• 健康检查：配置Nginx对后端节点进行健康检查，自动剔除故障节点，提升系统可靠性。
• 容器化部署：可以考虑使用Docker将Streamlit应用及其依赖打包成镜像，配合Kubernetes进行编排，实现更高效的资源管理和弹性伸缩。

这个方案将你的ChatGLM3-6B从单机“玩具”升级为了一个真正可服务于团队的小型“企业级”应用，稳定、高效且易于管理。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。