3DGS实战：如何用协方差矩阵优化高斯分布的渲染效果（附Python代码）

3DGS实战：如何用协方差矩阵优化高斯分布的渲染效果（附Python代码）

最近和几位做神经渲染的朋友聊天，大家不约而同地提到了3D Gaussian Splatting（3DGS）在项目落地时遇到的一个共同瓶颈：渲染出来的物体，边缘要么糊成一片，要么锯齿感严重，细节丢失得厉害。我们翻来覆去地调颜色、调透明度，效果总是不尽如人意。后来我们把目光从表面的颜色属性，转向了决定每个高斯“团”根本形态的协方差矩阵，才发现问题症结所在。这就像雕塑，之前我们一直在纠结泥巴的颜色，却忘了手里的刻刀（协方差矩阵）才是塑造形状的关键。一个调整不当的协方差矩阵，会让本该平滑过渡的表面出现断裂，或者让尖锐的棱角变得圆润。这篇文章，就是想把我们踩过的坑、试出来的有效调参方法，结合代码，分享给同样在3DGS渲染质量上挣扎的开发者们。无论你是想优化自己的3DGS实现，还是单纯想深入理解这个矩阵背后的几何魔法，相信接下来的内容都能给你带来一些实用的启发。

1. 理解协方差矩阵：从数学公式到视觉直觉

在接触3DGS时，我们首先会被一堆高斯分布和投影公式包围。其中，协方差矩阵Σ常常作为一个黑盒参数出现，我们只知道它很重要，却不太清楚拧动它的“旋钮”会带来怎样的画面变化。让我们先抛开严格的数学推导，建立一个直观的几何图像。

你可以把三维空间中的一个高斯分布，想象成一个有特定形状、大小和方向的“云雾团”。这个云雾团的密度中心就是均值μ，而它的形状——是一个球、一个橄榄球，还是一张薄饼——则完全由协方差矩阵Σ决定。Σ本质上定义了这团云雾在各个方向上扩散的“意愿”强度。

为什么是矩阵而不是三个简单的数字？因为空间中的方向不是独立的。假设这个云雾团被拉长成了一个椭球，它的长轴方向可能并不恰好对准X、Y、Z坐标轴，而是斜指向空间的某个角落。这时，描述它的形状就需要同时说明：1）它在三个主轴方向上的长度（缩放）；2）这三个主轴分别指向哪里（旋转）。这正是协方差矩阵所封装的信息。

在3DGS的渲染管线中，这个三维的椭球会被投影到二维的屏幕上，变成一个椭圆形的“溅射点”（Splat）。投影后的二维协方差矩阵Σ_proj决定了这个点在屏幕上的覆盖范围、椭圆形状以及轴向。如果Σ设置不当，投影后的椭圆可能变得过于狭长（导致像素覆盖不足，产生空洞），或者过于扁圆（导致像素过度混合，边缘模糊）。

提示：一个常见的误解是只关注缩放参数（椭球大小），而忽略了旋转参数（椭球方向）。在具有复杂朝向的物体表面，如倾斜的屋顶或旋转的楼梯，旋转矩阵不对齐会导致相邻高斯团之间的法线不连续，在渲染光照时产生难看的接缝。

为了更具体，我们可以看看一个高斯分布在参数变化下的形态。下面的代码生成了一个简单的三维高斯分布，并可视化其等概率密度椭球面。

import numpy as np import matplotlib.pyplot as plt from scipy.stats import multivariate_normal from mpl_toolkits.mplot3d import Axes3D def plot_gaussian_ellipsoid(mean, cov, ax, n_std=2.0, color='r', alpha=0.2): """绘制协方差矩阵对应的椭球体""" # 计算特征值和特征向量来确定椭球轴 eigvals, eigvecs = np.linalg.eigh(cov) # 按特征值排序 order = eigvals.argsort()[::-1] eigvals, eigvecs = eigvals[order], eigvecs[:, order] # 生成球体坐标点 u = np.linspace(0, 2 * np.pi, 30) v = np.linspace(0, np.pi, 30) x = n_std * np.outer(np.cos(u), np.sin(v)) y = n_std * np.outer(np.sin(u), np.sin(v)) z = n_std * np.outer(np.ones_like(u), np.cos(v)) # 将球体变换到椭球 for i in range(len(x)): for j in range(len(x)): [x[i,j], y[i,j], z[i,j]] = mean + np.dot(eigvecs, [x[i,j], y[i,j], z[i,j]]) * np.sqrt(eigvals) ax.plot_surface(x, y, z, color=color, alpha=alpha, linewidth=0) # 示例1：各向同性的球体 mean = [0, 0, 0] cov_isotropic = np.eye(3) * 0.5 # 缩放相同 # 示例2：各向异性的椭球，无旋转 cov_anisotropic = np.diag([2.0, 0.5, 0.8]) # X方向拉长，Y方向压扁 # 示例3：各向异性 + 旋转 scale = np.diag([2.0, 0.5, 0.8]) # 绕Z轴旋转45度 theta = np.radians(45) rot_z = np.array([ [np.cos(theta), -np.sin(theta), 0], [np.sin(theta), np.cos(theta), 0], [0, 0, 1] ]) cov_rotated = rot_z @ scale @ scale.T @ rot_z.T fig = plt.figure(figsize=(15, 5)) for i, (cov, title) in enumerate(zip([cov_isotropic, cov_anisotropic, cov_rotated], ['各向同性（球体）', '各向异性（无旋转）', '各向异性（带旋转）']), 1): ax = fig.add_subplot(1, 3, i, projection='3d') plot_gaussian_ellipsoid(mean, cov, ax, n_std=1.0) ax.set_title(title) ax.set_xlim([-3, 3]); ax.set_ylim([-3, 3]); ax.set_zlim([-3, 3]) ax.set_xlabel('X'); ax.set_ylabel('Y'); ax.set_zlabel('Z') plt.tight_layout() plt.show()

运行这段代码，你会看到三个截然不同的形状：一个正球、一个轴对齐的椭球，以及一个倾斜的椭球。这直观地展示了仅改变Σ，就能让同一个高斯分布呈现出完全不同的空间占据方式。在3DGS的场景表示中，成千上万个这样的椭球通过透明度叠加，共同构成了一幅完整的图像。因此，每个椭球的Σ是否“贴合”它所代表的局部几何表面，直接决定了最终渲染的保真度。

2. 协方差矩阵的构建与分解：旋转与缩放的舞蹈

在实践层面，我们很少直接去设置或优化那个9个参数的协方差矩阵Σ。因为Σ需要满足半正定对称矩阵的性质，直接优化这9个参数在梯度下降中很容易破坏这个性质，导致数值不稳定。3DGS原论文以及后续的主流实现，都采用了一种更优雅、更符合几何直觉的参数化方式：将Σ分解为旋转（Rotation）和缩放（Scaling）两部分。

具体来说，我们维护两个参数集合：

1. 缩放向量s：一个三维向量[s_x, s_y, s_z]，代表椭球在三个局部主轴方向上的半径（或尺度）。通常，我们会对其应用一个指数或Softplus函数，确保其值为正。
2. 旋转四元数q：一个四元数[q_w, q_x, q_y, q_z]，用于表示椭球在三维空间中的朝向。四元数比旋转矩阵更紧凑，且能避免万向节锁问题。我们需要将其归一化以保证其表示一个有效的旋转。

那么，如何从s和q得到最终的Σ呢？这个过程就像组装一个模型：先按尺寸（缩放）捏出椭球的雏形，再把它旋转到正确的角度。

import torch def build_covariance_from_rotation_scaling(rotation_quat, scaling_vector): """ 从旋转四元数和缩放向量构建3x3协方差矩阵。 参数: rotation_quat (torch.Tensor): 归一化的四元数 [*, 4], (w, x, y, z) scaling_vector (torch.Tensor): 缩放向量 [*, 3], (sx, sy, sz) 返回: cov3d (torch.Tensor): 3x3协方差矩阵 [*, 3, 3] """ # 1. 将四元数转换为旋转矩阵 R # 四元数分量 w, x, y, z = rotation_quat[..., 0], rotation_quat[..., 1], rotation_quat[..., 2], rotation_quat[..., 3] # 计算旋转矩阵元素 (使用PyTorch风格广播) R = torch.stack([ torch.stack([1 - 2*(y**2 + z**2), 2*(x*y - w*z), 2*(x*z + w*y)], dim=-1), torch.stack([2*(x*y + w*z), 1 - 2*(x**2 + z**2), 2*(y*z - w*x)], dim=-1), torch.stack([2*(x*z - w*y), 2*(y*z + w*x), 1 - 2*(x**2 + y**2)], dim=-1) ], dim=-2) # 形状变为 [*, 3, 3] # 2. 构建缩放矩阵 S (对角矩阵) # 通常会对缩放参数取指数，确保为正且可优化负值 S = torch.diag_embed(torch.exp(scaling_vector)) # 形状 [*, 3, 3] # 3. 计算 L = R @ S L = torch.matmul(R, S) # 4. 协方差矩阵 Σ = L @ L.T cov3d = torch.matmul(L, L.transpose(-1, -2)) # 添加一个小的正则项到对角线，确保数值稳定性（防止矩阵奇异） cov3d = cov3d + torch.eye(3, device=cov3d.device).unsqueeze(0) * 1e-6 return cov3d # 示例用法 if __name__ == "__main__": # 假设我们有一批高斯参数 batch_size = 5 # 随机初始化四元数（后续需要归一化） raw_rot = torch.randn(batch_size, 4) rotation_quat = torch.nn.functional.normalize(raw_rot, dim=-1) # 随机初始化缩放参数 scaling_vector = torch.randn(batch_size, 3) * 0.1 # 小初始值 cov_matrix = build_covariance_from_rotation_scaling(rotation_quat, scaling_vector) print(f"构建的协方差矩阵形状: {cov_matrix.shape}") # 应为 [5, 3, 3] print(f"第一个高斯协方差矩阵:\n{cov_matrix[0]}") # 检查对称性和半正定性（特征值非负） eigenvalues = torch.linalg.eigvalsh(cov_matrix[0]) print(f"第一个矩阵的特征值（应都>=0）: {eigenvalues}")

这个build_covariance_from_rotation_scaling函数是3DGS引擎中的核心操作之一。理解它，就理解了协方差矩阵的“生成机制”。这里有几个关键点需要注意：

• 缩放的非负性：我们使用torch.exp(scaling_vector)。这是因为在优化过程中，scaling_vector的梯度可能引导其值为负，但物理尺度必须为正。指数函数完美地实现了这个映射。
• 旋转的归一化：输入的四元数必须是归一化的（模长为1），这代表一个有效的旋转。在优化时，我们通常优化一个未归一化的四元数，然后在构建协方差前进行归一化。
• 数值稳定性：最后添加一个极小单位矩阵1e-6 * I是常见技巧，防止协方差矩阵在求逆或进行Cholesky分解时因数值误差成为奇异矩阵。

通过这种分解，我们将需要学习的参数从9个（矩阵Σ）减少到了7个（四元数4个 + 缩放3个），并且天然保证了生成的Σ是半正定对称的，极大简化了优化过程。现在，优化器的工作就变成了：为场景中的每个高斯找到一组(q, s)，使得其对应的椭球最好地贴合物体表面。

3. 优化策略：如何调整协方差以提升渲染质量

拥有了构建协方差矩阵的能力后，我们面临的核心问题变成了：如何设置和优化这些旋转与缩放参数，才能让渲染效果更好？这不仅仅是理论，更是一系列需要权衡的实践技巧。

3.1 初始化：一个好的开始是成功的一半

糟糕的初始化会导致优化陷入局部最优，或者收敛缓慢。对于3DGS中的高斯分布，初始化通常来源于初始的点云（例如，从Structure-from-Motion，如COLMAP获得）。

• 缩放初始化：一个稳健的策略是将初始缩放设置得较小。例如，可以使用点云中最近邻距离的某种统计量（如平均距离的几分之一）作为初始尺度。这确保了高斯团开始时是紧凑的，有足够的“生长”空间去贴合表面，而不是一开始就过度重叠造成模糊。

  # 伪代码：基于点云邻居距离初始化缩放 from sklearn.neighbors import NearestNeighbors def initialize_scaling_from_pointcloud(points, k_neighbors=3): """ points: [N, 3] 点云坐标 返回: [N, 3] 缩放向量 """ nbrs = NearestNeighbors(n_neighbors=k_neighbors+1).fit(points) # 包含自身 distances, _ = nbrs.kneighbors(points) # 计算到第k个最近邻的平均距离（排除自身） mean_local_distance = distances[:, 1:].mean(axis=1) # 形状 [N] # 将距离转换为缩放初始值，例如取对数使得后续exp操作后尺度合适 # 一个经验值是取距离的1/10到1/5作为初始半径，对应log(距离) - log(5~10) init_log_scale = torch.log(torch.from_numpy(mean_local_distance).float()) - np.log(8.0) # 复制到xyz三个维度，初始设为各向同性 scaling_vector = init_log_scale.unsqueeze(-1).repeat(1, 3) return scaling_vector

• 旋转初始化：初始旋转可以设为单位四元数[1, 0, 0, 0]（无旋转），或者从点云的法线信息中推导。如果有点云法线，可以将高斯的一个主轴（通常是Z轴）对齐到法线方向，这能加速表面重建过程。

3.2 损失函数中的协方差约束：防止“畸形”高斯

在3DGS的标准训练中，主要损失函数是渲染图像与真实图像之间的颜色差异（如L1损失 + D-SSIM损失）。然而，如果只依赖这个重建损失，优化过程可能会产生一些“病态”的高斯分布来欺骗损失函数，例如：

• 过度拉长的高斯：变得像一根细针，在投影时可能只覆盖极少的像素，虽然对当前视角的重建损失有贡献，但从其他角度看会形成空洞。
• 过度扁平的高斯：像一张纸片，虽然能覆盖一片区域，但缺乏体积感，在视角变化时容易出错。

为了约束这种行为，需要在损失函数中添加针对协方差矩阵的正则项。一个常见且有效的约束是限制缩放参数的大小，防止其过大或过小。

def compute_covariance_regulization_loss(scaling_vectors, rotation_quats, lambda_scale=0.01, lambda_rot=0.001): """ 计算协方差参数的正则化损失。 参数: scaling_vectors: 缩放向量 [N, 3] rotation_quats: 归一化四元数 [N, 4] lambda_scale: 缩放正则化权重 lambda_rot: 旋转正则化权重（可选，用于鼓励平滑变化） 返回: reg_loss: 正则化损失标量 """ # 1. 缩放正则化：鼓励缩放值在一个合理范围内，防止极端值 # 使用缩放向量的L2范数（在log空间）作为惩罚，鼓励其接近初始值或0 scale_loss = torch.mean(torch.norm(scaling_vectors, dim=-1)) # 或使用 (scaling_vectors ** 2).mean() # 2. （可选）旋转平滑正则化：鼓励相邻高斯（在空间上接近）有相似的旋转 # 这需要空间邻居信息，实现略复杂，此处给出概念。 # 假设我们有邻居索引 neigh_idx [N, K]，则可以计算邻居间四元数差异 # quat_diff = 1 - torch.abs(torch.sum(rotation_quats[neigh_idx] * rotation_quats.unsqueeze(1), dim=-1)) # rot_smooth_loss = quat_diff.mean() # reg_loss = lambda_scale * scale_loss + lambda_rot * rot_smooth_loss reg_loss = lambda_scale * scale_loss return reg_loss # 在训练循环中 total_loss = color_loss + compute_covariance_regulization_loss(gaussians.scaling, gaussians.rotation)

3.3 自适应密度控制：分裂与合并

3DGS一个精妙的设计是其自适应密度控制机制，而这与协方差矩阵密切相关。优化过程中，系统会监控每个高斯分布的“状态”，决定是将其分裂（增加细节）还是合并（减少冗余）。

• 分裂（Split）：当一个高斯分布覆盖的区域太大，或者其梯度幅值很高（说明它试图拟合一个复杂区域但力不从心）时，它会被分裂成两个更小的高斯。在实现上，分裂通常涉及：
  1. 将缩放参数s除以一个因子（例如√2），使新高斯变小。
  2. 沿着某个主轴（通常是当前尺度最大的方向）稍微偏移两个新高斯的位置。
  3. 继承或微调旋转参数。这个过程的本质，是通过减小协方差矩阵的“体积”（由缩放决定），让高斯分布能更精细地刻画几何细节。
• 合并（Merge）：当两个高斯分布在空间和颜色上都非常相似，且尺度很小时，它们可能会被合并成一个。这通常意味着将它们的协方差矩阵（通过某种平均）合并，形成一个稍大的高斯。合并有助于控制高斯的总数，防止场景因过度分裂而变得臃肿，提升渲染效率。

决定是否分裂或合并的启发式规则，往往直接依赖于协方差矩阵的尺度或其在屏幕空间投影的大小。例如，可以计算高斯在屏幕空间投影椭圆的面积，如果面积过大（超过阈值），则标记为需要分裂。

注意：分裂与合并的阈值需要仔细调校。过于激进的分裂会导致高斯数量爆炸，增加计算负担和内存占用；过于保守则无法捕捉细节。一个实用的技巧是动态调整阈值，例如在训练初期使用较宽松的合并阈值以快速减少初始冗余，在训练后期收紧分裂阈值以精细化表面。

4. 实战调试：常见渲染问题与协方差调优方案

理论最终要服务于解决实际问题。下面我们结合几种典型的渲染瑕疵，分析其可能的协方差矩阵成因，并给出调试思路和代码层面的检查点。

4.1 问题：物体边缘出现“毛刺”或“锯齿”

• 现象：在物体轮廓边缘，本该平滑的线条呈现出锯齿状或颗粒感。
• 可能原因：
  1. 高斯分布尺度太小或太大：尺度太小的高斯在屏幕上投影面积小，像素覆盖不足，导致边缘看起来由离散的点构成（颗粒感）。尺度太大则会导致过度混合，边缘模糊，但在某些情况下，过大的高斯与背景/前景高斯错误混合也会产生锯齿状的透明度边界。
  2. 旋转未对齐表面法线：对于倾斜的边缘，如果高斯的旋转主轴没有与边缘切线方向对齐，其投影椭圆可能无法有效地沿着边缘延伸，导致覆盖不均匀。
• 调试与解决：
  • 可视化检查：在调试时，可以渲染每个高斯投影椭圆的边界框或主要轴线。

    def debug_render_gaussian_ellipses(cov2d, means2d, image_shape): """ cov2d: [N, 2, 2] 投影后的二维协方差矩阵 means2d: [N, 2] 投影后的二维中心 在图像上绘制椭圆轮廓，用于调试。 """ import cv2 debug_img = np.ones((image_shape[0], image_shape[1], 3), dtype=np.uint8) * 255 for i in range(len(cov2d)): # 计算椭圆参数 (OpenCV格式：中心(x,y), 轴长(宽，高), 旋转角度) # 注意：OpenCV的angle是度，且从水平轴逆时针旋转 vals, vecs = np.linalg.eigh(cov2d[i]) # 取2倍标准差作为轴长 axes_lengths = 2 * np.sqrt(vals) # [2] # 计算旋转角度（弧度转度） angle = np.degrees(np.arctan2(vecs[1, 0], vecs[0, 0])) center = (int(means2d[i, 0]), int(means2d[i, 1])) # 绘制椭圆 cv2.ellipse(debug_img, center, (int(axes_lengths[0]), int(axes_lengths[1])), angle, 0, 360, (0, 0, 255), 1) return debug_img

  • 调整策略：
    1. 检查并调整缩放正则化强度：如果边缘颗粒感强，可能是高斯普遍偏小。可以尝试稍微减小缩放正则化权重lambda_scale，允许高斯变得稍大一些。反之，如果边缘模糊，则增大lambda_scale。
    2. 引入法线指导的旋转初始化：如果有点云法线，确保在初始化时将高斯的旋转与之对齐，这能为优化提供一个更好的起点。
    3. 检查分裂条件：确保在边缘等高频区域，分裂操作被有效触发。可以查看这些区域的高斯尺度是否普遍偏大（需要分裂）。

4.2 问题：平坦表面出现“波纹”或“凹凸不平”

• 现象：本该是光滑的平面（如墙壁、桌面）在渲染结果上呈现出不规则的、波浪状的明暗变化。
• 可能原因：
  1. 高斯分布过度重叠且旋转不一致：在平坦区域，理想情况是高斯像“瓷砖”一样平整地铺开。如果它们的旋转矩阵没有与平面对齐（即椭球的扁平面没有平行于表面），那么它们的体积就会以不同方式与光线交互，导致着色不一致。
  2. 缩放各向异性过强：在平面上，我们希望高斯在法线方向（厚度方向）的尺度很小（扁平），在切线方向尺度较大。如果缩放参数的比值不对，例如厚度方向s_z过大，就会在表面形成一个个“小鼓包”的视觉效果。
• 调试与解决：
  • 分析协方差矩阵：在平坦区域采样几个高斯，打印并检查它们的旋转矩阵和缩放向量。

    # 假设我们有一个平面区域高斯的索引列表 plane_indices plane_rotations = gaussians.rotation[plane_indices] plane_scales = torch.exp(gaussians.scaling[plane_indices]) # 转换回实际尺度 print("平面区域高斯缩放（中位数）:", torch.median(plane_scales, dim=0).values) # 理想情况：两个切线方向尺度大且相近，法线方向尺度小

  • 调整策略：
    1. 增强旋转平滑正则化：如果实现了旋转平滑损失，可以尝试在平坦区域增加其权重，强制相邻高斯的朝向保持一致。
    2. 手动约束缩放：对于已知的平面区域，可以在优化后期加入一个约束，强制让高斯的某个主轴（通过旋转矩阵确定）方向的缩放远小于另外两个主轴。这需要一些先验知识，但效果显著。
    3. 后期滤波与合并：训练完成后，可以对平坦区域的高斯进行后处理。检测那些旋转和缩放相似的高斯，将它们合并，强制统一其属性。

4.3 问题：动态模糊或视角变化时细节闪烁、抖动

• 现象：在相机移动或渲染动画时，物体表面的细节（如纹理、边缘）会出现闪烁或抖动，不稳定。
• 可能原因：
  1. 高斯分布过于“脆弱”：一些高斯被优化得极其细长或扁平，以拟合某个特定视角下的边缘。当视角稍微变化，其投影形状发生剧烈改变，导致颜色贡献突变，从而产生闪烁。
  2. 协方差优化未考虑多视角一致性：标准的重建损失是逐帧（视角）计算的。一个高斯可能为了最小化当前视角的损失，调整到一个在其它视角下不合理的形状。
• 调试与解决：
  • 多视角监控：在训练时，不仅用当前批次的视角计算损失，也定期用一组固定的验证视角来评估渲染质量，并监控这些视角下高斯投影形状的变化。
  • 调整策略：
    1. 强化多视角约束：在损失函数中，除了当前训练视角，可以随机采样另一个视角的图片作为额外监督，鼓励高斯形状在不同视角下保持合理。这增加了计算量，但能提升稳定性。
    2. 限制缩放各向异性的极端程度：为缩放向量三个分量的比值设置一个上限。例如，强制max(s) / min(s) < threshold（例如 100）。这可以防止出现像针一样极端的高斯。
    3. 使用更稳定的投影协方差计算：确保从3D协方差Σ到2D投影协方差Σ_proj的数值计算是稳定的，特别是当高斯接近裁剪平面或投影后变得非常小时。

调试是一个迭代过程。我的习惯是准备一组具有不同特性的测试场景（包含平坦区域、尖锐边缘、复杂纹理、薄结构等），在每次调整协方差相关的参数（初始化、正则化权重、分裂合并阈值）后，跑一遍这些场景，对比渲染质量的差异。记录下每次调整的参数和结果，慢慢就能建立起对协方差矩阵如何影响最终画面的“手感”。记住，没有一套参数能通吃所有场景，但理解背后的原理能让你在遇到新问题时，快速定位到可能的调优方向。