NuScenes数据集点云与图像坐标转换实战指南

1. 从零开始：为什么我们需要点云到图像的转换？

大家好，我是老张，在自动驾驶和三维感知领域摸爬滚打了十来年。今天想和大家聊聊一个非常具体，但在多模态感知开发中绕不开的话题：如何把激光雷达（LiDAR）扫描到的三维点云，精准地“画”到相机的二维图像上？

这听起来像是个纯理论的坐标变换问题，但在实际项目中，它可是个“拦路虎”。我见过不少刚入行的朋友，拿到像NuScenes这样包含激光雷达和相机数据的大规模数据集时，第一反应是兴奋，第二反应可能就是迷茫。数据都有了，怎么把它们“对齐”起来，让三维世界和二维图像对上号呢？

想象一下这个场景：你的自动驾驶系统通过激光雷达“看到”前方50米处有一个障碍物（一个三维的点云簇），同时，前向摄像头也拍到了一张图片。你如何确认激光雷达“看到”的那个点簇，就是图片里那辆白色的轿车？这就是传感器融合最基础，也最关键的一步——时空同步与坐标对齐。只有完成了这一步，你才能用图像丰富的纹理信息去辅助理解点云的几何结构，或者用点云精确的距离信息去修正图像检测框的深度，实现1+1>2的效果。

NuScenes数据集为我们提供了完美的“练兵场”。它包含了丰富的传感器数据（1个激光雷达，6个摄像头，5个毫米波雷达）以及精确的标定信息。但官方SDK提供的更多是数据读取和可视化工具，关于如何从底层实现坐标转换，往往需要我们自己动手。网上资料虽然多，但要么过于理论，要么代码片段零散，新手很难串起来。

所以，这篇文章我就结合自己踩过的坑，手把手带你走一遍从理解坐标系、解析标定数据，到用代码一步步实现点云投影的全过程。我们的目标很明确：写一个能跑通、能出结果、并且你能完全看懂每一行在干什么的实战脚本。我们不求一步登天，但求每一步都走得踏实。

2. 庖丁解牛：彻底搞懂NuScenes的三大坐标系

在写代码之前，我们必须把脑子里的“地图”画清楚。坐标转换之所以让人头疼，往往是因为坐标系没理清。在NuScenes（以及绝大多数自动驾驶数据集）中，主要涉及三个层级的坐标系，我习惯把它们想象成一套“俄罗斯套娃”。

2.1 全局坐标系：世界的地图

全局坐标系，你可以把它想象成一张固定不变的世界地图。在NuScenes中，这个坐标系的原点通常是数据采集车在某个初始时刻（比如场景开始记录的第一秒）的位置。整个场景中所有物体、车辆的位置，最终都会用这个坐标系下的(x, y, z)坐标来描述。它的好处是提供了一个统一的“锚点”，让我们可以比较不同时刻、不同位置物体的关系。

2.2 自车坐标系：车辆的“随身空间”

自车坐标系，也叫ego坐标系，这是以车辆自身为中心建立的坐标系。原点通常在车辆的后轴中心、或者某个预设的传感器安装中心。X轴指向车头方向，Y轴指向左侧，Z轴指向上方。这个坐标系是“跟着车走的”，车一动，这个坐标系的原点就在全局坐标系里移动。所有传感器的原始数据，最初都是在这个坐标系下表达的。比如，激光雷达报告“前方10米，左偏2米，高度1.5米处有一个点”，这个“前方、左偏”就是相对于自车坐标系而言的。

2.3 传感器坐标系：每个传感器的“独有视角”

这是最内层的“套娃”。每个传感器（激光雷达、每个摄像头）都有自己独立的坐标系。原点在传感器的光学中心或发射中心。对于摄像头，这通常是镜头的光心；对于激光雷达，则是其旋转中心。传感器标定的核心，就是告诉我们：这个传感器的坐标系，相对于自车坐标系（ego），经历了怎样的旋转和平移。

搞清楚了这三层关系，我们转换的路径就清晰了。我们的目标是把一个在激光雷达坐标系下的三维点P_lidar，转换到某个摄像头坐标系下的二维像素坐标(u, v)。这个过程需要分几步走：

1. P_lidar->P_ego(通过激光雷达的外参标定)
2. P_ego->P_global(通过采集该帧激光雷达数据时，车辆的位姿)
3. P_global->P_ego_cam(通过采集该帧图像数据时，车辆的位姿。注意！这个ego位姿和第一步的可能不同，因为激光雷达和相机数据的时间戳有微小差异)
4. P_ego_cam->P_camera(通过摄像头的外参标定)
5. P_camera->(u, v)(通过摄像头的内参矩阵)

这个过程初看很复杂，但核心思想就是通过一连串的矩阵乘法，把点从一个坐标系“搬运”到另一个坐标系。下面，我们就进入实战环节，看看怎么用代码获取这些关键的“搬运工具”——变换矩阵。

3. 实战第一步：搭建环境与读取数据

理论说再多，不如跑行代码。我们先来把舞台搭好。

3.1 安装必备工具包

这里没什么黑科技，主要就是NuScenes官方的开发工具包nuscenes-devkit，以及一个处理旋转的利器pyquaternion。我强烈建议你创建一个新的虚拟环境来做这件事，避免包版本冲突。

pip install nuscenes-devkit pyquaternion opencv-python numpy

opencv-python和numpy是标配，用来处理图像和矩阵运算。安装完成后，我们可以先导入它们，并准备好数据集路径。

from nuscenes.nuscenes import NuScenes from nuscenes.utils.data_classes import Box from pyquaternion import Quaternion import numpy as np import cv2 import os # 设置numpy打印格式，方便调试时查看矩阵 np.set_printoptions(precision=3, suppress=True) # 1. 指定数据集版本和路径 # 如果你用的是mini集，version就是“mini” version = "mini" # 这里替换成你本地存放NuScenes数据集的根目录路径 dataroot = "/path/to/your/nuscenes/data" # 例如：dataroot = "/home/user/data/nuscenes" # 2. 实例化NuScenes对象，这是操作数据的总入口 nusc = NuScenes(version='v1.0-{}'.format(version), dataroot=dataroot, verbose=True)

运行nusc = NuScenes(...)时，如果verbose=True，你会看到终端打印出加载的各种数据表，比如有多少个sample（样本）、sample_data（传感器数据帧）、scene（场景）等。看到这些信息，就说明你的数据路径设置正确，SDK成功加载了数据。

3.2 理解数据组织结构：Sample是关键

NuScenes的数据是按sample组织的。一个sample代表了同一时刻所有传感器（1个LiDAR，6个Cameras，5个Radars）采集到的一帧数据，以及这一时刻的3D物体标注（anns）。

我们来取出第一个sample看看：

# 获取第一个样本（场景的第一帧数据） sample = nusc.sample[0] print(sample.keys()) # 输出：dict_keys(['token', 'timestamp', 'prev', 'next', 'scene_token', 'data', 'anns'])

这个sample是一个字典，其中最重要的两个键是：

• data: 里面存储了各个传感器在这一帧对应的数据令牌（token）。比如sample[‘data’][‘LIDAR_TOP’]就是顶部激光雷达这一帧数据的token，通过这个token，我们可以找到具体的点云文件。
• anns: 这是一个列表，里面是这一帧所有3D标注框的token。每个token对应一个具体的物体，比如车辆、行人。

你可以用nusc.list_sample(sample[‘token’])来直观地查看这个sample里包含了哪些传感器数据和标注，这个命令会打印出非常清晰的信息。

4. 核心武器：如何获取并理解变换矩阵？

坐标转换的本质是矩阵乘法。我们需要四种矩阵：

1. 传感器到自车的变换矩阵（外参）
2. 自车到全局的变换矩阵（车辆位姿）
3. 全局到自车的逆变换矩阵（另一个时刻的车辆位姿的逆）
4. 自车到传感器的逆变换矩阵（相机外参的逆）
5. 相机内参矩阵

4.1 编写通用的矩阵构造函数

首先，我们写一个 helper 函数，它能根据标定数据中的rotation（四元数）和translation（平移向量），构造一个4x4的齐次变换矩阵。这个函数是后续所有操作的基础。

def get_matrix4x4(rotation, translation, inverse=False): """ 根据旋转（四元数）和平移向量，构造一个4x4的变换矩阵。 参数: rotation: 四元数列表 [w, x, y, z] 或 np.array translation: 平移向量列表 [x, y, z] 或 np.array inverse: 如果为True，返回该矩阵的逆矩阵。 返回: T: 4x4的齐次变换矩阵。 """ # 初始化一个单位矩阵 T = np.eye(4) # 将四元数转换为3x3旋转矩阵，并填入T的前3行3列 T[:3, :3] = Quaternion(rotation).rotation_matrix # 将平移向量填入T的前3行，第4列 T[:3, 3] = translation # 如果需要逆矩阵，则对T求逆 if inverse: T = np.linalg.inv(T) return T

为什么是4x4矩阵？因为三维空间的旋转（3x3矩阵）和平移（3x1向量）可以统一用一个4x4的齐次变换矩阵来表示，这样就能用一次矩阵乘法同时完成旋转和平移操作，非常方便。点坐标也需要增加一个维度，变成[x, y, z, 1]。

4.2 获取激光雷达的变换矩阵

现在，我们来获取将激光雷达点云转换到全局坐标系所需的两把“钥匙”。

# 1. 获取激光雷达这一帧的数据信息 lidar_token = sample['data']['LIDAR_TOP'] lidar_sample_data = nusc.get('sample_data', lidar_token) # 2. 获取激光雷达的标定参数（外参）：描述激光雷达坐标系与自车坐标系的关系 lidar_calibrated = nusc.get('calibrated_sensor', lidar_sample_data['calibrated_sensor_token']) # 构造 lidar -> ego 的变换矩阵 lidar_to_ego = get_matrix4x4(lidar_calibrated['rotation'], lidar_calibrated['translation']) # 3. 获取采集这帧激光雷达数据时，自车的位姿（ego pose） lidar_ego_pose = nusc.get('ego_pose', lidar_sample_data['ego_pose_token']) # 构造 ego -> global 的变换矩阵 ego_to_global = get_matrix4x4(lidar_ego_pose['rotation'], lidar_ego_pose['translation']) # 4. 那么，从 lidar 直接到 global 的变换就是连续相乘 # 注意矩阵乘法的顺序：点向量在右侧，变换从左到右依次应用 lidar_to_global = ego_to_global @ lidar_to_ego # 等价于 ego_to_global * lidar_to_ego

到这里，我们已经拿到了将任意一个激光雷达坐标系下的点P_lidar转换到全局坐标系P_global的“总开关”：lidar_to_global。我们可以先加载一帧点云数据验证一下。

# 加载点云数据，NuScenes的点云是.bin文件，每行5个数：x, y, z, intensity（反射强度）, ring_index（激光线束id） lidar_file_path = os.path.join(nusc.dataroot, lidar_sample_data['filename']) pointcloud = np.fromfile(lidar_file_path, dtype=np.float32).reshape(-1, 5) # 形状为 (N, 5) # 取前3个坐标 (x, y, z)，并补充齐次坐标的第四维 1 points_lidar = np.concatenate([pointcloud[:, :3], np.ones((pointcloud.shape[0], 1))], axis=1) # 形状 (N, 4) # 转换到全局坐标系：P_global = P_lidar * (lidar_to_global)^T # 因为我们的点向量是行向量 (1x4)，而变换矩阵是4x4，所以用点云矩阵右乘变换矩阵的转置 points_global = points_lidar @ lidar_to_global.T # 形状 (N, 4)

4.3 获取相机的变换矩阵与内参

接下来处理相机端。NuScenes有6个相机，我们需要对每一个都进行处理。这里以CAM_FRONT（前向相机）为例。

# 定义6个相机的通道名 cameras = ['CAM_FRONT_LEFT', 'CAM_FRONT', 'CAM_FRONT_RIGHT', 'CAM_BACK_LEFT', 'CAM_BACK', 'CAM_BACK_RIGHT'] # 我们选择前向相机 camera_channel = 'CAM_FRONT' camera_token = sample['data'][camera_channel] camera_sample_data = nusc.get('sample_data', camera_token) # 1. 获取相机的标定参数（外参和内参） camera_calibrated = nusc.get('calibrated_sensor', camera_sample_data['calibrated_sensor_token']) # 构造 camera -> ego 的变换矩阵，然后求逆，得到 ego -> camera camera_to_ego = get_matrix4x4(camera_calibrated['rotation'], camera_calibrated['translation']) ego_to_camera = np.linalg.inv(camera_to_ego) # 或者直接在get_matrix4x4中设置inverse=True # 2. 获取采集这帧图像数据时，自车的位姿 camera_ego_pose = nusc.get('ego_pose', camera_sample_data['ego_pose_token']) # 构造 ego -> global 的变换矩阵，然后求逆，得到 global -> ego ego_to_global_cam = get_matrix4x4(camera_ego_pose['rotation'], camera_ego_pose['translation']) global_to_ego = np.linalg.inv(ego_to_global_cam) # 3. 获取相机内参矩阵，并扩展为4x4齐次形式以便后续统一相乘 camera_intrinsic = np.eye(4) camera_intrinsic[:3, :3] = camera_calibrated['camera_intrinsic'] # 内参是3x3矩阵 # 4. 组合出从全局坐标系到图像像素坐标系的完整变换矩阵 # 变换链：Global -> Ego (at camera time) -> Camera -> Image (Pixel) global_to_image = camera_intrinsic @ ego_to_camera @ global_to_ego

这里有个非常重要的细节！请注意，lidar_ego_pose和camera_ego_pose很可能是两个不同的token，即使它们属于同一个sample。这是因为激光雷达和相机硬件触发时间有微小的毫秒级差异，NuScenes用不同的ego_pose来精确描述各自采集瞬间车辆的位置和姿态。这是实现高精度时空同步的关键，千万不能直接用激光雷达的ego_pose去代替相机的。

5. 终极目标：将点云和3D框投影到图像上

万事俱备，只欠投影。现在我们有了：

• points_global: 所有激光雷达点在全局坐标系下的坐标。
• global_to_image: 针对当前相机，从全局坐标到图像像素坐标的变换矩阵。

5.1 投影点云

投影过程就是一次矩阵乘法加上透视除法（除以深度z）。

# 将全局坐标系下的点转换到相机图像坐标系 # points_global 形状为 (N, 4) points_on_image = points_global @ global_to_image.T # 形状 (N, 4) # 透视除法：将齐次坐标 [x, y, z, w] 转换为 [x/w, y/w, z/w, 1]，这里w就是深度z # 我们关心的是前两维 (u, v) points_on_image[:, :2] /= points_on_image[:, [2]] # 除以第三列（深度z） # 现在 points_on_image[:, 0] 是像素u坐标， points_on_image[:, 1] 是像素v坐标 # 过滤掉深度值小于等于0的点（这些点在相机后面，不可见） valid_indices = points_on_image[:, 2] > 0 points_2d = points_on_image[valid_indices, :2].astype(np.int32) # 取前两维并转换为整数

5.2 投影3D标注框

除了点云，我们还想把数据集中提供的3D物体标注框也投影到图像上，看看检测框是否对齐。这比投影点稍微复杂一点，因为框有8个角点。

# 读取相机图像 image_file = os.path.join(nusc.dataroot, camera_sample_data['filename']) image = cv2.imread(image_file) # 遍历这个sample中的所有标注 for ann_token in sample['anns']: annotation = nusc.get('sample_annotation', ann_token) # 使用NuScenes提供的Box类方便地计算3D框的8个角点 # Box参数：中心点(translation), 尺寸(size), 朝向(rotation) box = Box(annotation['translation'], annotation['size'], Quaternion(annotation['rotation'])) # box.corners() 返回一个3x8的矩阵，每一列是一个角点的三维坐标 corners_3d = box.corners() # 形状 (3, 8) # 将角点转换为齐次坐标 (4, 8) corners_3d_homo = np.concatenate([corners_3d, np.ones((1, corners_3d.shape[1]))], axis=0) # 投影到图像平面 corners_on_image = global_to_image @ corners_3d_homo # 形状 (4, 8) # 透视除法 corners_on_image[:2, :] /= corners_on_image[2, :] # 转置并取整，得到8个角点的2D像素坐标 corners_2d = corners_on_image[:3, :].T.astype(np.int32) # 形状 (8, 3), 第三列是深度z # 绘制3D框的12条棱边 # 定义框的12条边的连接顺序 lines = [(0,1), (1,2), (2,3), (3,0), # 底面四边形 (4,5), (5,6), (6,7), (7,4), # 顶面四边形 (0,4), (1,5), (2,6), (3,7)] # 连接底面和顶面的竖棱 for start_idx, end_idx in lines: pt1 = corners_2d[start_idx] pt2 = corners_2d[end_idx] # 检查两个端点是否都在相机前方（深度z>0） if pt1[2] <= 0 or pt2[2] <= 0: continue # 如果有一个点在相机后面，这条边不绘制 cv2.line(image, (pt1[0], pt1[1]), (pt2[0], pt2[1]), (0, 255, 0), thickness=2) # 将投影后的点云也画到图像上（用蓝色小圆点） for (u, v) in points_2d[:1000]: # 为了可视化清晰，这里只画前1000个点 # 确保点在图像范围内 if 0 <= u < image.shape[1] and 0 <= v < image.shape[0]: cv2.circle(image, (u, v), radius=1, color=(255, 0, 0), thickness=-1) # 保存或显示结果 output_path = f"projection_{camera_channel}.jpg" cv2.imwrite(output_path, image) print(f"结果已保存至: {output_path}") # 如果想直接显示，可以使用 cv2.imshow('Projection', image); cv2.waitKey(0)

运行这段代码，你就能得到一张叠加了激光雷达点云（蓝色点）和3D标注框（绿色线框）的相机图像。如果投影正确，你会发现点云密集地落在物体表面，而3D框也紧紧地包裹住了图像中的车辆、行人等目标。这是我调试时最有成就感的时刻。

6. 避坑指南与性能优化

第一次跑通固然开心，但在实际项目应用中，我们还会遇到一些“坑”。这里分享几个我踩过的，以及对应的解决方案。

6.1 时间戳同步与位姿插值

前面提到，激光雷达和相机的ego_pose可能不同。在绝大多数情况下，使用各自精确的ego_pose已经能获得很好的对齐效果。但是，如果你在做极其精细的时序分析，或者传感器间硬件同步有已知的固定延迟，你可能需要更精确的插值。NuScenes的ego_pose表是按时间戳排序的，你可以根据传感器数据的时间戳，在两个最近的ego_pose之间进行线性插值（对平移）和球面线性插值（对旋转四元数），来估计传感器采集瞬间更精确的车辆位姿。不过对于初期的融合开发，直接使用提供的ego_pose通常足够了。

6.2 处理大规模点云的性能问题

一帧激光雷达点云动辄几万甚至十几万个点。如果你要对所有6个相机都做投影，并且处理连续的视频流，纯Python循环可能会成为瓶颈。这里有几个优化思路：

1. 向量化操作：我们上面的代码已经大量使用了NumPy的矩阵运算，这是最重要的优化。确保所有点云的变换都是通过一次大型矩阵乘法完成的，避免对每个点使用for循环。
2. 并行化：对多个相机的投影操作是相互独立的，可以使用Python的multiprocessing或concurrent.futures库进行并行处理。
3. 深度过滤与视锥体裁剪：在投影前，可以先在3D空间进行粗略过滤。比如，只保留相机前方一定距离内（如0.1米到100米）的点，或者利用相机的视锥体（frustum）在3D空间剔除肯定不可见的点。这能显著减少需要投影和后续处理的点数。
4. 使用GPU加速：如果使用PyTorch或TensorFlow，可以将点云数据和变换矩阵都放到GPU上，利用其强大的并行计算能力进行批量变换。

6.3 外参标定与传感器时空对齐的再思考

我们使用的变换矩阵都来自于数据集提供的标定数据。这些标定数据是在数据采集前，通过精密仪器测量得到的。但在真实世界中，车辆行驶的震动、温度变化可能导致传感器之间微小的相对位移（外参变化）。对于追求极致性能的系统，需要考虑在线标定或外参自适应技术。不过，在算法研发初期使用NuScenes这样的数据集时，我们可以认为标定是固定且准确的，这为我们提供了一个稳定的基准。

6.4 结果可视化与调试技巧

当投影结果看起来不太对时（比如点云飘在空中，或者3D框错位），不要慌，按步骤排查：

1. 检查矩阵：打印出每一步的变换矩阵，特别是lidar_to_ego、ego_to_global、global_to_ego(camera)、ego_to_camera。观察平移向量的大小是否合理（ego到global的平移可能很大，几十上百米；传感器到ego的平移通常只有一两米）。
2. 分步投影：不要一次性从lidar到image。可以先把点云转到global，用nusc.render_pointcloud_in_image之类的官方函数看看在global视图下是否正确。再单独测试从global到image的投影。
3. 检查内参：确认相机内参矩阵的格式是否正确。NuScenes的内参矩阵K通常是：

   [[fx, 0, cx], [ 0, fy, cy], [ 0, 0, 1]]

   其中(cx, cy)是光心（主点），通常在图像中心附近。
4. 验证单个点：手动计算一个你知道应该在图像某个位置的3D点（比如地面上的一个点），看看投影后的2D坐标是否符合预期。

7. 从投影到应用：开启多模态感知的大门

成功实现点云到图像的投影，远不止是画一张漂亮的图。它是打通视觉和激光雷达两个感知世界的桥梁，是许多高级应用的第一步。

应用一：生成深度图或语义点云。你可以将激光雷达点的深度信息，根据投影关系，“贴”到图像的每一个像素上，生成一个稀疏的深度图。更进一步，你可以利用图像语义分割的结果，为每一个投影到图像上的激光雷达点打上语义标签（如“车辆”、“行人”、“道路”），得到带有语义信息的3D点云，这对于基于点云的语义分割任务是非常宝贵的监督信号。

应用二：增强图像目标检测。在2D图像检测中，判断目标的距离（深度）一直是个难题。现在，你可以将投影到某个2D检测框内的所有激光雷达点收集起来，用这些点的三维位置来估算该目标的精确距离、甚至大小和朝向，极大地提升检测结果的实用性。

应用三：多传感器融合检测。这是目前自动驾驶感知的主流方向。你可以运行一个图像检测器和一个点云检测器，然后通过我们刚才建立的投影关系，将2D检测框和3D检测框进行关联、匹配、融合，最终输出更稳定、更准确的3D检测结果。像PointPainting、PointAugmenting等经典方法，都依赖于这种精确的坐标转换。

应用四：数据增强。在图像数据增强时（如裁剪、旋转），你可以同步地对关联的激光雷达点云进行变换，保持多模态数据的一致性，从而生成更多样化的训练数据。

我自己的项目里，第一次跑通这个投影流程后，花了整整一周时间反复验证和调试，确保每个像素的误差都在可接受范围内。这个过程虽然繁琐，但价值巨大。它让你对传感器之间的几何关系有了肌肉记忆般的理解，以后再看到融合相关的论文，那些坐标转换公式就不再是黑盒了。希望这份详细的指南能帮你跨过这关键的第一步，少走些弯路。剩下的，就是发挥你的创意，去构建更强大的感知系统了。