gte-base-zh Embedding效果可视化：t-SNE降维展示不同类别中文句子分布

gte-base-zh Embedding效果可视化：t-SNE降维展示不同类别中文句子分布

1. 项目简介与背景

自然语言处理中，文本嵌入（Text Embedding）技术扮演着关键角色，它将文本转换为高维向量表示，让计算机能够"理解"文本的语义信息。今天我们要介绍的是阿里巴巴达摩院训练的gte-base-zh模型，这是一个专门针对中文文本优化的嵌入模型。

你可能会有疑问：这些文本向量到底包含了什么样的语义信息？不同类别的文本在向量空间中是如何分布的？这正是本文要解答的问题。我们将通过t-SNE降维技术，将高维向量可视化到二维平面，直观展示不同类别中文句子的分布情况。

通过这种可视化分析，你不仅能了解gte-base-zh模型的嵌入效果，还能深入理解文本语义在向量空间中的组织方式，为后续的信息检索、文本分类等应用打下基础。

2. 环境准备与模型部署

2.1 模型部署步骤

首先我们需要部署gte-base-zh模型。这个模型已经预置在系统中，位于以下路径：

/usr/local/bin/AI-ModelScope/gte-base-zh

启动模型服务非常简单，使用以下命令：

xinference-local --host 0.0.0.0 --port 9997

或者使用专门的启动脚本：

/usr/local/bin/launch_model_server.py

2.2 验证服务状态

模型启动后，我们需要确认服务是否正常运行。初次加载可能需要一些时间，可以通过以下命令查看日志：

cat /root/workspace/model_server.log

当看到服务启动成功的提示信息时，说明模型已经准备好接收请求了。

2.3 访问Web界面

模型服务启动后，你可以通过Web界面进行交互测试。界面提供了示例文本和相似度比对功能，让你能够快速体验模型的文本嵌入能力。

3. 文本嵌入原理与t-SNE可视化

3.1 文本嵌入是什么

简单来说，文本嵌入就是将文字转换成数字向量的过程。想象一下，我们要让计算机理解"苹果很好吃"和"香蕉很甜"这两句话的相似性，直接比较文字是做不到的。但如果我们把它们转换成向量，就可以计算它们之间的"距离"——距离越近，语义越相似。

gte-base-zh模型基于BERT架构，专门针对中文文本进行了优化。它在海量的中文文本对上进行训练，能够捕捉中文语言的细微差别和语义关系。

3.2 为什么要做可视化

文本嵌入产生的通常是768维甚至更高维的向量，我们人类根本无法直接理解这种高维数据。这就好比让你想象一个768维空间中的点分布，几乎是不可能的任务。

t-SNE（t-Distributed Stochastic Neighbor Embedding）技术解决了这个问题。它能够将高维数据降维到2维或3维，同时尽可能保持数据点之间的相对距离关系。这样我们就可以在平面图上直观地看到不同文本的分布情况。

3.3 可视化实现步骤

整个可视化流程可以分为四个主要步骤：

1. 准备文本数据：收集不同类别的中文句子
2. 生成嵌入向量：使用gte-base-zh模型将文本转换为向量
3. 降维处理：使用t-SNE将高维向量降到2维
4. 可视化展示：绘制散点图展示不同类别句子的分布

4. 实战代码：从文本到可视化

4.1 准备示例数据

我们先准备一些不同类别的中文句子作为示例：

categories = { "科技": [ "人工智能正在改变世界", "机器学习算法需要大量数据", "深度学习模型训练很耗时", "神经网络模拟人脑结构", "计算机视觉识别图像内容" ], "体育": [ "篮球比赛需要团队配合", "足球运动员体能要求很高", "乒乓球是中国的国球", "游泳锻炼全身肌肉", "田径比赛追求更快更高更强" ], "美食": [ "川菜以麻辣著称", "粤菜讲究原汁原味", "烘焙需要精确的温度控制", "火锅是冬季热门选择", " sushi 制作需要精湛手艺" ], "旅游": [ "西藏有壮丽的自然风光", "海滨城市适合度假", "历史文化名城值得游览", "自驾游更加自由灵活", "民宿体验当地生活方式" ] }

4.2 生成文本嵌入向量

接下来我们使用gte-base-zh模型为每个句子生成嵌入向量：

import requests import json import numpy as np def get_embedding(text, model_url="http://localhost:9997/v1/embeddings"): """获取单个文本的嵌入向量""" payload = { "model": "gte-base-zh", "input": text } try: response = requests.post(model_url, json=payload) response.raise_for_status() result = response.json() return result['data'][0]['embedding'] except Exception as e: print(f"获取嵌入向量失败: {e}") return None # 为所有句子生成嵌入向量 all_embeddings = [] all_labels = [] all_texts = [] for category, sentences in categories.items(): for sentence in sentences: embedding = get_embedding(sentence) if embedding is not None: all_embeddings.append(embedding) all_labels.append(category) all_texts.append(sentence) # 转换为numpy数组 embeddings_array = np.array(all_embeddings) print(f"生成 {len(embeddings_array)} 个嵌入向量，每个维度为 {embeddings_array.shape[1]}")

4.3 t-SNE降维处理

现在我们将768维的向量降维到2维：

from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 使用t-SNE进行降维 tsne = TSNE(n_components=2, random_state=42, perplexity=5) embeddings_2d = tsne.fit_transform(embeddings_array) print("降维完成，现在每个向量只有2个维度")

4.4 可视化展示

最后我们绘制可视化图表：

# 设置中文字体支持 plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 # 创建颜色映射 colors = {'科技': 'red', '体育': 'blue', '美食': 'green', '旅游': 'orange'} # 绘制散点图 plt.figure(figsize=(12, 8)) for category in categories.keys(): # 找出该类别的点 indices = [i for i, label in enumerate(all_labels) if label == category] x = [embeddings_2d[i, 0] for i in indices] y = [embeddings_2d[i, 1] for i in indices] plt.scatter(x, y, c=colors[category], label=category, alpha=0.7) plt.title('gte-base-zh 文本嵌入可视化（t-SNE降维）') plt.xlabel('t-SNE维度1') plt.ylabel('t-SNE维度2') plt.legend() plt.grid(True, alpha=0.3) # 添加一些文本标注（避免过于拥挤，只标注部分点） for i, text in enumerate(all_texts): if i % 5 == 0: # 每5个点标注一个 plt.annotate(text[:10] + "...", (embeddings_2d[i, 0], embeddings_2d[i, 1]), xytext=(5, 5), textcoords='offset points', fontsize=8, alpha=0.7) plt.tight_layout() plt.show()

5. 可视化结果分析

5.1 分布模式观察

运行上面的代码后，你会得到一张散点图，不同颜色的点代表不同类别的句子。通过观察这张图，我们可以发现一些有趣的现象：

通常你会看到同一类别的句子倾向于聚集在一起，形成明显的簇状结构。比如所有关于科技的句子可能集中在图的一个区域，而美食相关的句子在另一个区域。

这种聚集现象说明gte-base-zh模型确实能够捕捉到文本的语义信息，将语义相近的文本映射到向量空间中相近的位置。

5.2 边界案例分析

仔细观察图表，你可能会发现一些"离群点"——就是那些没有和同类句子聚集在一起的点。这些点往往很有分析价值：

比如某个科技类句子如果混在了体育类区域，可能说明这个句子的表达方式或者用词更接近体育文本。或者反过来，这可能提示我们需要调整模型参数或训练数据。

5.3 类别间关系

通过观察不同类别簇的相对位置，我们还能看出类别之间的语义关系。比如科技和体育的簇如果距离较远，说明这两个领域的文本语义差异较大。而如果美食和旅游的簇比较接近，可能说明这两个主题在文本表达上有一定的相似性。

6. 实用技巧与注意事项

6.1 调整t-SNE参数

t-SNE有一些重要参数会影响可视化效果：

• perplexity（困惑度）：控制每个点考虑多少邻居，通常设置在5-50之间。值太小会导致很多小簇，值太大会形成大簇
• learning_rate（学习率）：影响优化过程，通常设置在10-1000之间
• n_iter（迭代次数）：迭代越多结果越稳定，但计算时间更长

你可以尝试不同的参数组合，找到最适合你数据的设置。

6.2 处理大量文本

当需要处理大量文本时，有几点需要注意：

• 分批处理：不要一次性生成所有嵌入向量，可以分批处理避免内存不足
• 采样显示：可视化时如果点太多会显得很拥挤，可以适当采样显示
• 交互式可视化：考虑使用Plotly等库创建交互式图表，可以鼠标悬停查看文本内容

6.3 常见问题解决

如果遇到模型服务连接问题，可以检查：

1. 模型服务是否正常启动
2. 端口号是否正确（默认9997）
3. 网络连接是否通畅

如果可视化效果不理想，可以尝试：

1. 调整t-SNE参数
2. 检查文本数据质量
3. 尝试其他降维方法（如PCA）作为对比

7. 应用场景拓展

7.1 文本分类评估

通过可视化，我们可以直观评估文本分类模型的效果。如果分类正确的点聚集紧密，错误分类的点处于边界位置，说明模型表现良好。

7.2 异常检测

离群点检测可以帮助我们发现异常文本或标注错误的数据。那些远离自己类别簇的点都值得进一步检查。

7.3 模型对比

你可以用同样的文本数据测试不同的嵌入模型，通过对比可视化结果来选择最适合你任务的模型。

7.4 数据质量分析

可视化还能帮助我们发现数据集中存在的问题，比如类别不平衡、标注不一致等。

8. 总结

通过本文的实践，我们完成了从文本嵌入生成到可视化展示的完整流程。关键收获包括：

1. 理解了文本嵌入的价值：将文本转换为向量是让计算机理解语义的基础
2. 掌握了可视化方法：t-SNE降维让我们能够直观看到高维数据的分布
3. 学会了结果分析：通过观察点分布，可以评估模型效果和数据质量

这种可视化方法不仅适用于gte-base-zh模型，也可以应用于其他文本嵌入模型。它为我们提供了一种直观的工具来理解和调试自然语言处理系统。

在实际应用中，你可以根据具体需求调整代码和分析方法。比如针对特定领域优化文本选择，或者结合其他分析技术获得更深入的见解。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。