DEIM实战：基于Transformer的自定义SAR目标检测模型调优与部署

1. 从零开始：为什么选择DEIM来处理我的SAR数据？

大家好，我是老张，在AI和遥感图像处理这块摸爬滚打了十来年。最近几年，Transformer在视觉领域火得一塌糊涂，从ViT到DETR，各种模型层出不穷。但说实话，很多号称“实时”的检测模型，一到我们SAR（合成孔径雷达）这种特殊图像上，要么速度掉得厉害，要么精度惨不忍睹。SAR图像和咱们平时看的自然图像可太不一样了，它没有颜色，纹理信息独特，目标（比如船只、车辆）的散射特性受视角和极化方式影响巨大，背景还常常有很强的相干斑噪声。用处理自然图像的模型直接套，效果通常很“感人”。

直到我遇到了DEIM。最初吸引我的是它的标题——“基于Transformer的实时目标检测”。在公开数据集COCO上，它的速度和精度平衡得确实不错。但更关键的是，它的设计看起来比较“干净”，没有太多花里胡哨、难以迁移的定制模块。我心里琢磨着，这种结构相对清晰、依赖大规模预训练较少的模型，或许在数据分布迥异的SAR数据集上，能有更好的迁移潜力。毕竟，我们手头的SAR数据量，跟COCO那种动辄几十万张的规模没法比。

所以，我决定动手试一试，目标很明确：把我手头标注好的一批SAR舰船检测数据，用DEIM跑起来，看看它到底行不行，过程中会遇到哪些坑，又该怎么解决。这次实战，我会把从数据准备、模型调优到最终部署测试的完整流程，以及我踩过的每一个坑，都原原本本地分享出来。如果你也在为自定义数据集，特别是光学或SAR等遥感数据的模型适配头疼，那这篇笔记或许能给你省下不少时间。

我的实验环境是一台搭载了NVIDIA RTX 4090 24GB显卡的工作站，系统环境是Python 3.9.19，PyTorch及其相关依赖都已配置妥当。这个配置对于训练中等规模的模型来说绰绰有余了。接下来，咱们就从最源头的数据准备开始。

2. 实战第一步：搞定SAR数据集的“标准身份证”

模型再强，没有规矩的数据也喂不饱。DEIM官方代码默认使用的是COCO格式的数据集，这是目标检测领域一个非常通用的标准。所以，我们的首要任务就是给自己“土生土长”的SAR数据集，办一张COCO格式的“标准身份证”。

为什么非得是COCO格式？简单来说，它定义了一套清晰的结构来描述图片信息、标注框和类别，绝大多数开源检测框架都直接支持读取这种格式，能避免我们在数据加载环节写大量重复、易错的代码。你的标注数据可能是用LabelImg生成的XML（VOC格式），也可能是用精灵标注或其他工具产生的JSON，转换思路是相通的。

我手头的SAR数据是自家团队标注的，原本是VOC格式。转换的核心在于构建一个符合COCO结构的超大JSON字典。这个字典主要包含几个部分：

1. images: 一个列表，里面每个元素记录一张图片的信息，比如id（唯一标识）、file_name（图片文件名）、height和width。
2. annotations: 一个列表，每个元素记录一个目标实例的标注，包括id、image_id（对应哪张图）、category_id（类别ID）、bbox（边界框，格式是[x_min, y_min, width, height]）和area（面积）。
3. categories: 一个列表，定义数据集中所有类别，每个类别有id和name。

这里有个细节需要注意：COCO的bbox是[x, y, width, height]，而VOC格式通常是[x_min, y_min, x_max, y_max]，记得转换。下面我给出一个转换脚本的核心片段，你可以根据自己的数据源调整：

import json import os import xml.etree.ElementTree as ET from PIL import Image def voc_to_coco(voc_annotations_dir, image_dir, output_json_path): coco = {'images': [], 'annotations': [], 'categories': []} # 1. 定义类别（根据你的数据集修改） categories = [{'id': 1, 'name': 'ship'}, {'id': 2, 'name': 'oil_tank'}] # 示例 coco['categories'] = categories category_name_to_id = {cat['name']: cat['id'] for cat in categories} ann_id = 1 image_id = 1 # 2. 遍历所有VOC标注文件 for xml_file in os.listdir(voc_annotations_dir): if not xml_file.endswith('.xml'): continue tree = ET.parse(os.path.join(voc_annotations_dir, xml_file)) root = tree.getroot() # 获取图片基本信息 filename = root.find('filename').text img_path = os.path.join(image_dir, filename) with Image.open(img_path) as img: width, height = img.size # 添加到images列表 coco['images'].append({ 'id': image_id, 'file_name': filename, 'height': height, 'width': width }) # 处理每个目标标注 for obj in root.findall('object'): cls_name = obj.find('name').text if cls_name not in category_name_to_id: continue # 跳过未定义的类别 xml_box = obj.find('bndbox') x_min = float(xml_box.find('xmin').text) y_min = float(xml_box.find('ymin').text) x_max = float(xml_box.find('xmax').text) y_max = float(xml_box.find('ymax').text) # VOC转COCO bbox格式 bbox_width = x_max - x_min bbox_height = y_max - y_min area = bbox_width * bbox_height coco['annotations'].append({ 'id': ann_id, 'image_id': image_id, 'category_id': category_name_to_id[cls_name], 'bbox': [x_min, y_min, bbox_width, bbox_height], 'area': area, 'iscrowd': 0 # 我们通常不是密集人群标注，设为0 }) ann_id += 1 image_id += 1 # 3. 保存为JSON文件 with open(output_json_path, 'w') as f: json.dump(coco, f, indent=2) print(f"转换完成，共 {len(coco['images'])} 张图片，{len(coco['annotations'])} 个标注。")

转换完成后，你的数据集目录结构应该类似这样：

your_custom_dataset/ ├── train2017/ # 训练集图片文件夹 │ ├── img_001.jpg │ └── ... ├── val2017/ # 验证集图片文件夹 │ ├── img_101.jpg │ └── ... ├── annotations/ # 标注文件夹 │ ├── instances_train2017.json │ └── instances_val2017.json

注意，文件夹名字（train2017,val2017）是COCO常用的，你可以自定义，但需要和后续配置文件中的路径对应上。

3. 模型调优核心：配置文件修改的“三重奏”

数据准备好了，接下来就是让DEIM认识我们的数据。这一步的核心是修改配置文件，我把它比作“三重奏”，需要协调好三个关键文件。很多朋友在这里出错，就是因为只改了一处，其他地方没联动上。

3.1 第一重：定义数据集信息 (custom_detection.yml)

首先，在DEIM代码的configs/dataset/目录下，我们新建一个文件，比如叫custom_sar_detection.yml。这个文件告诉模型你的数据在哪、有什么类别。

# configs/dataset/custom_sar_detection.yml remap_mscoco_category: false # 非常重要！设为false，表示我们不映射到COCO的80类，用自己的类别。 num_classes: 3 # 修改为你的实际类别数，比如我这里有ship, oil_tank, background三类？注意，通常背景不算在内，所以是2。这里假设是3类目标。 # 训练集配置 train_set: name: custom_train img_folder: '/path/to/your_custom_dataset/train2017' # 替换为你的训练集图片绝对路径 ann_file: '/path/to/your_custom_dataset/annotations/instances_train2017.json' # 训练集标注JSON路径 # 以下参数通常保持默认即可，除非你有特殊需求 is_crowd: false filter_empty_gt: true # 如果你的图片尺寸不一，且与模型输入尺寸差异大，可以在这里设置预处理 # transforms: ... # 验证集配置 val_set: name: custom_val img_folder: '/path/to/your_custom_dataset/val2017' # 验证集图片路径 ann_file: '/path/to/your_custom_dataset/annotations/instances_val2017.json' # 验证集标注JSON路径 is_crowd: false filter_empty_gt: true

关键点：remap_mscoco_category必须设为false，否则模型会固执地认为你要检测的是“人”、“自行车”、“汽车”这些COCO类别，导致你的SAR类别名对不上，训练时损失（Loss）可能直接变成NaN。

3.2 第二重：调整数据加载与训练参数 (dataloader.yml与主模型配置)

接下来，我们需要修改数据加载和模型输入相关的配置。主要涉及两个文件。

首先是configs/dataloader.yml。这里我们主要调整批次大小（Batch Size）和输入图像尺寸。

# 在 configs/dataloader.yml 中找到或添加以下部分 train_dataloader: total_batch_size: 16 # 根据你的GPU显存调整！RTX 4090 24G上，对于640x640输入，从32调到16或8更稳妥。 num_workers: 4 # 数据加载的进程数，根据CPU核心数设置，可以加快数据读取。 dataset: name: custom_sar_detection # 这里引用我们上面创建的数据集配置名 # 关键：修改输入尺寸！SAR图像有时目标较小，适当降低分辨率可能有助于小目标检测，同时提升训练速度。 transforms: ops: - {type: Resize, size: [512, 512]} # 我将默认的[640,640]改成了[512,512] # 还可以添加其他增强，如随机翻转、色彩抖动（对SAR灰度图可能意义不大）等 - {type: RandomHorizontalFlip, prob: 0.5} collate_fn: base_size: 512 # 这个也要和上面的size保持一致！ val_dataloader: num_workers: 2 dataset: name: custom_sar_detection transforms: ops: - {type: Resize, size: [512, 512]} # 验证时也resize到相同尺寸

调整Batch Size的学问：不是越大越好。太大的Batch Size可能导致模型收敛到尖锐的极小值，泛化能力变差。特别是在自定义数据集上，数据分布可能与预训练数据差异大，从小一点的Batch Size（如8或16）开始尝试更安全。如果出现“CUDA out of memory”错误，首要任务就是减小total_batch_size。

然后是主模型配置文件，例如configs/deim_dfine/deim_hgnetv2_l_coco.yml。我们需要在其中引用我们修改过的数据加载配置，并调整一些模型结构参数。

# 在 deim_hgnetv2_l_coco.yml 头部或显眼位置，会有对dataloader的引用 include: - ../dataloader.yml # 确保这个路径正确，指向我们修改过的dataloader.yml model: backbone: ... neck: ... head: num_classes: 3 # 这里必须和 custom_sar_detection.yml 中的 num_classes 保持一致！ ... # 找到评估相关的配置，确保评估时的输入尺寸一致 eval_spatial_size: [512, 512] # 在配置文件中搜索这个参数并修改

注意：num_classes这个参数可能在model.head下，也可能在单独的detector配置里，需要仔细查找并确保其值与数据集配置中的类别数一致。不一致会导致模型输出层维度错误，无法加载预训练权重或训练失败。

3.3 第三重：适配骨干网络与预训练权重

DEIM使用了HGNetV2等作为骨干网络（Backbone）。当我们修改了输入尺寸（比如从640变到512），骨干网络最后输出的特征图尺寸也会变化，这可能会影响后续检测头的设计。好在DEIM的设计通常能适应这种变化，但我们需要确保预训练权重的加载方式正确。

在配置文件中，通常会有一个pretrained参数指向一个预训练模型文件（.pth）。对于自定义数据集，特别是SAR这种差异大的数据，我有两种策略：

1. 完全从头训练（Scratch）：将pretrained设为null或''。这对于数据量足够大（比如数万张）且特征与自然图像完全不同的情况可能是个选择，但通常需要更长的训练时间和更仔细的参数调优。
2. 使用ImageNet预训练权重：这是更推荐的做法。即使领域不同，底层特征（边缘、纹理）的提取能力是可以迁移的。我们需要下载HGNetV2在ImageNet上预训练的权重，并在配置文件中正确指向它。有时配置文件里给的路径是相对路径或URL，你需要根据engine/Backbone/hgnetv2.py等文件中的线索，找到权重下载链接，下载后放到本地，然后修改pretrained路径为本地路径。

例如，在配置文件中修改：

model: backbone: type: HGNetV2 pretrained: '/path/to/your/downloaded/hgnetv2_l.pth' # 修改为本地路径 ...

重要提示：如果预训练权重加载失败，模型可能会尝试随机初始化，这可能导致训练初期不稳定。务必检查控制台日志，确认Loaded pretrained weights from ...这样的信息出现。

4. 训练与测试：命令行的艺术与坑位排查

配置全部搞定后，就可以开始激动人心的训练和测试了。这里我分享最常用的命令和一些你可能遇到的“坑”。

4.1 启动训练

假设我们使用deim_hgnetv2_l_coco.yml这个配置，并开启了自动混合精度（AMP）以节省显存和加速训练：

python train.py -c configs/deim_dfine/deim_hgnetv2_l_coco.yml --use-amp --seed=42

参数解释：

• -c: 指定配置文件路径。
• --use-amp: 启用自动混合精度训练。强烈建议开启，它能显著减少显存占用，有时还能稍微加快训练速度，对精度影响微乎其微。
• --seed: 设置随机种子。非常重要！这能确保你的实验是可复现的。同样的数据、同样的配置、同样的种子，结果应该是一致的。
• 其他可能有用的参数：--resume（从上次保存的检查点继续训练）、--eval-interval（每隔多少轮评估一次）等，可以参考代码的train.py脚本或--help。

训练开始后，密切关注控制台输出和TensorBoard/ WandB（如果配置了）日志。重点看：

1. 损失（Loss）曲线：训练损失应该稳步下降并逐渐趋于平缓。如果损失剧烈震荡或变成NaN，赶紧停掉检查（可能是学习率太大、数据有问题、类别数不对）。
2. 学习率（LR）曲线：如果你使用了学习率调度器（如CosineAnnealing），它应该按照预定计划变化。
3. 验证集指标：如mAP@0.5:0.95。这是衡量模型性能的关键。它会每隔一定轮数（如5个epoch）评估一次。

4.2 模型测试与评估

训练完成后，我们会在outputs/deim_hgnetv2_l_coco/（目录名取决于你的配置）下找到保存的权重文件，通常有latest.pth（最新）和best_xxx.pth（最佳，如best_stg2.pth）。

使用最佳权重在测试集或验证集上进行最终评估：

python train.py -c configs/deim_dfine/deim_hgnetv2_l_coco.yml --test-only -r outputs/deim_hgnetv2_l_coco/best_stg2.pth

• --test-only: 表示只进行测试，不训练。
• -r: 指定要加载的权重文件路径。

命令会输出详细的评估指标，包括各个类别的AP（平均精度）和整体的mAP。这是判断模型在你自定义SAR数据集上表现好坏的直接依据。

4.3 常见报错与解决方案（踩坑记录）

在实际操作中，我遇到了几个典型的报错，这里把解决方案分享给你，希望能帮你快速过关。

报错一：ModuleNotFoundError: No module named 'calflops'

这个错误通常发生在你想测试模型计算量（FLOPs）的时候。calflops是一个计算FLOPs的包，但它有时会和现有的PyTorch或CUDA环境冲突，尤其是nvidia-cudnn-cu12。

解决方案：既然我们现阶段更关心模型能否跑通和性能，而不是精确计算量，可以暂时绕过它。找到engine/misc/profiler_utils.py文件，将里面导入和使用calflops的相关代码行注释掉。例如：

# 注释掉类似下面的代码行 # from calflops import calculate_flops # ... 其他相关代码 ... # flops, macs, params = calculate_flops(...)

或者，更简单的方法是，在运行训练或测试命令时，确保你的代码没有走到调用这个计算FLOPs的函数分支。通常，默认的训练脚本不会主动计算FLOPs，除非你额外指定了某些参数。

报错二：ValueError: Default process group has not been initialized, please make sure to call init_process_group.

这个错误信息看起来和分布式训练有关，但根本原因往往不在这里。根据我的排查经验，这个错误经常是由预训练权重加载失败引发的连锁反应。

深度排查与解决：

1. 定位错误源头：仔细看错误堆栈（Traceback），找到最初出错的那一行代码。你可能会发现，错误发生在尝试加载预训练权重时。
2. 检查配置文件：确认pretrained参数指向的路径是否正确，文件是否存在。如果是URL，网络是否能正常访问？对于自定义数据集，我们更常用本地权重文件。
3. 检查模型结构匹配：这是最隐蔽的坑！当你修改了num_classes后，模型分类头的输出通道数变了。而下载的COCO预训练权重里，分类头参数是80个类的。直接加载会导致形状不匹配。DEIM的代码可能试图只加载匹配的部分（如骨干网络），但如果处理不当，就会引发奇怪错误。
4. 我的解决步骤： a. 首先，我放弃加载完整的COCO检测预训练权重，转而使用ImageNet分类预训练权重来初始化骨干网络（如上文3.3所述）。 b. 其次，在配置文件中，将pretrained明确指向下载好的HGNetV2 ImageNet权重文件。 c. 对于检测头（Head）部分，允许其随机初始化。因为我们的SAR类别和COCO完全不同，检测头的参数必须重新学习。 d. 如果问题依旧，可以尝试在代码中暂时将pretrained设置为None或空字符串，先确保模型能从头开始正常训练一个epoch，排除其他配置问题。

其他小贴士：

• 显存不足（OOM）：减小total_batch_size，尝试梯度累积（如果代码支持），或者使用更小的模型变体（如deim_hgnetv2_s而不是deim_hgnetv2_l）。
• 训练Loss为NaN：检查数据中是否有无效的标注（如坐标超出图像范围、面积为0）。降低初始学习率。检查是否有梯度爆炸（可以添加梯度裁剪）。
• 验证mAP始终为0：确认验证集的标注文件路径和格式是否正确。检查remap_mscoco_category是否已设为false。确认num_classes设置正确。

5. 性能调优与SAR数据特性适配

模型能跑起来只是第一步，要让它在SAR数据上表现出色，还需要一些针对性的调优。SAR图像有其独特性，直接套用为自然图像设计的默认参数往往不是最优解。

5.1 针对SAR图像特性的调整

1. 输入尺寸与骨干网络：SAR图像中感兴趣的目标（如舰船）有时尺寸相对较小，且图像本身可能很大。盲目地将大图缩放到640x640可能会丢失小目标的细节。我的做法是：

   • 分析目标尺度：统计数据集中所有标注框的宽高分布。如果大量目标在原始图像中像素面积很小（比如小于32x32），那么可以考虑：
     • 增大输入分辨率：如从640调整到800甚至1024。但这会显著增加计算量和显存消耗，需要权衡。
     • 使用特征金字塔增强：确保模型配置中的FPN（特征金字塔网络）或类似结构是启用的，这有助于检测不同尺度的目标。
     • 调整Anchor尺寸（如果模型使用Anchor）：如果DEIM是基于Anchor的变体，需要根据SAR目标尺寸重新计算或调整Anchor的生成参数。不过，像DETR这类Transformer检测器是无Anchor的，这反而简化了适配工作。
   • 尝试不同的骨干网络：HGNetV2是均衡的选择。如果你的数据非常复杂，且计算资源充足，可以尝试更大的骨干网络（如果有提供）。反之，如果追求实时性，可以尝试更小的变体。

2. 数据增强策略：自然图像常用的色彩抖动、色调变化对单通道的SAR图像无效。对SAR有效的增强包括：

   • 几何变换：随机水平/垂直翻转、随机旋转（船只方向多变）、随机裁剪。这些能模拟不同的观测视角。
   • 噪声注入：SAR图像固有相干斑噪声。可以适当添加高斯噪声或模拟的斑点噪声，提升模型对噪声的鲁棒性。但要注意强度，过强的噪声会破坏目标特征。
   • 多尺度训练：在训练时随机将图像缩放到多个尺度之一，有助于模型学习尺度不变性。可以在dataloader.yml的transforms部分配置RandomResize。

3. 损失函数与正负样本匹配：Transformer检测器（如DETR系列）的核心之一是其基于匈牙利匹配的损失计算。在DEIM中，这可能已经封装好了。但对于SAR数据，如果前景（目标）和背景（海面、陆地）极度不平衡，可能需要关注：

   • 分类损失权重：检查代码中是否支持为不同类别设置不同的损失权重。可以为样本稀少的目标类别设置更高的权重。
   • 匹配代价（Cost）：在匈牙利匹配中，分类代价和框回归代价的权重比例（通常由cost_class和cost_bbox等参数控制）。如果SAR数据定位精度要求极高，可以适当增加cost_bbox的权重。

5.2 超参数调优实战

配置文件里隐藏着许多影响性能的超参数。这里我挑几个对SAR数据影响较大的聊聊怎么调。

学习率（Learning Rate）与优化器：

• 策略：使用带热启动（Warmup）的余弦退火（CosineAnnealing）调度器通常是安全有效的选择。Warmup让模型在训练初期用较小的学习率“热身”，避免震荡。
• 初始值：对于使用ImageNet预训练权重的情况，初始学习率可以设得小一些，例如3e-4或1e-4。因为SAR数据和ImageNet差异大，太大的学习率可能会“冲毁”预训练好的底层特征。
• 批量大小（Batch Size）与学习率关系：当你因为显存限制而调小total_batch_size时，为了保持训练稳定，有时需要同比减小学习率，或者使用更少的GPU时同理。但现代优化器（如AdamW）对此不那么敏感，可以先观察Loss曲线，如果震荡再调小学习率。

训练周期（Epoch）：

• 公开数据集上训练120个Epoch可能很常见。但对于自定义的、数据量可能较小的SAR数据集，要警惕过拟合。
• 监控验证集指标：如果验证集mAP在连续10-20个Epoch后不再提升甚至下降，而训练损失还在降，那就是过拟合的信号。
• 早停（Early Stopping）：可以手动实现早停，或者使用模型保存策略（只保存验证集指标最好的那个权重，即best_stg2.pth）。
• 对于小数据集：可能50-80个Epoch就足够了。可以先用少量Epoch（如30）跑一个快速实验，看看收敛趋势。

一个简单的超参数搜索思路： 我通常不会做全网格搜索，太耗时。采用“手动粗调+细调”：

1. 固定其他，调学习率：在[1e-5, 3e-4]范围内选2-3个值（如1e-4, 3e-4），快速训练20个Epoch，看初始收敛速度和稳定性。
2. 固定学习率，调数据增强：对比使用基础增强（翻转、缩放）和添加SAR特定增强（如噪声）的效果。
3. 固定以上，调输入尺寸：对比512和640分辨率在验证集mAP和训练速度上的差异。 每次只变一个因素，并记录结果。虽然不严谨，但对于工程实践来说，效率很高。

6. 模型部署与推理优化浅谈

训练出一个满意的模型后，下一步就是把它用起来，也就是部署。这里不涉及复杂的服务化部署，主要聊聊如何将训练好的PyTorch模型用于单张图片或视频流的推理，并做一些简单的优化。

6.1 加载模型进行预测

首先，你需要编写一个简单的推理脚本。这个脚本的核心是加载训练好的权重和配置文件，并构建一个完整的数据预处理和后处理流程。

import torch import cv2 import numpy as np from PIL import Image import yaml from model import build_model # 根据DEIM的实际代码结构导入模型构建函数 from utils.preprocess import preprocess_image # 导入预处理函数（需要根据代码实现） from utils.postprocess import postprocess # 导入后处理函数（如NMS，解码预测框） def load_config_and_model(config_path, checkpoint_path): """加载配置和模型权重""" with open(config_path, 'r') as f: cfg = yaml.safe_load(f) # 根据配置构建模型 model = build_model(cfg) # 加载训练好的权重 checkpoint = torch.load(checkpoint_path, map_location='cpu') if 'model' in checkpoint: state_dict = checkpoint['model'] else: state_dict = checkpoint # 处理可能的键名不匹配（如多GPU训练保存的权重带‘module.’前缀） new_state_dict = {} for k, v in state_dict.items(): if k.startswith('module.'): new_state_dict[k[7:]] = v else: new_state_dict[k] = v model.load_state_dict(new_state_dict, strict=False) # strict=False允许部分加载（如分类头维度不同） model.eval() # 切换到评估模式 return model, cfg def predict_single_image(model, cfg, image_path, conf_threshold=0.5): """单张图片预测""" # 1. 预处理 orig_image = cv2.imread(image_path) # 将BGR转为RGB（如果模型训练时用的是RGB） image_rgb = cv2.cvtColor(orig_image, cv2.COLOR_BGR2RGB) # 进行与训练时相同的预处理：Resize, Normalize, ToTensor等 # 这里需要调用与训练脚本一致的预处理函数 input_tensor, scale_factor = preprocess_image(image_rgb, target_size=cfg['eval_spatial_size']) # 添加batch维度 input_tensor = input_tensor.unsqueeze(0) # 2. 模型推理 with torch.no_grad(): predictions = model(input_tensor) # 3. 后处理 # 将预测的归一化坐标转换回原图坐标 detections = postprocess(predictions, conf_threshold, orig_image.shape[:2], scale_factor) # 4. 可视化 for det in detections: x1, y1, x2, y2, conf, cls_id = det cv2.rectangle(orig_image, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) label = f"{cfg['class_names'][int(cls_id)]}: {conf:.2f}" cv2.putText(orig_image, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2) cv2.imwrite('result.jpg', orig_image) return detections if __name__ == '__main__': config_path = 'configs/deim_dfine/deim_hgnetv2_l_coco.yml' checkpoint_path = 'outputs/deim_hgnetv2_l_coco/best_stg2.pth' image_path = 'your_test_sar_image.jpg' model, cfg = load_config_and_model(config_path, checkpoint_path) # 将模型移到GPU（如果可用） device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) results = predict_single_image(model, cfg, image_path) print(f"检测到 {len(results)} 个目标。")

注意：preprocess_image和postprocess函数需要你根据DEIM代码库中的实际实现来编写或导入。核心是保证推理时的预处理（缩放、归一化）和训练时一致，后处理则包括将模型输出的logits转换为类别置信度、应用阈值过滤和非极大值抑制（NMS）等。

6.2 推理速度优化技巧

在实时SAR目标检测应用中，速度往往和精度一样重要。这里有几个简单的优化方向：

1. 模型简化：

   • 使用更小的模型变体：如果你在精度和速度间权衡，可以尝试训练deim_hgnetv2_s（小模型）或deim_hgnetv2_m（中模型），而不是_l（大模型）。
   • 剪枝与量化：这是更进阶的优化。PyTorch提供了动态量化和静态量化工具。可以将模型权重从FP32转换为INT8，在几乎不损失精度的情况下，显著提升推理速度并减少内存占用。不过，量化需要对模型结构有一定要求，并且可能需要一个校准数据集。

2. TorchScript或ONNX导出：

   • TorchScript：将PyTorch模型转换为TorchScript格式，可以脱离Python环境运行，并且通常能获得一些优化。
   • ONNX：将模型导出为ONNX格式，然后可以使用ONNX Runtime进行推理，它针对不同硬件做了大量优化。
   • TensorRT：如果你在NVIDIA GPU上部署，将ONNX模型进一步转换为TensorRT引擎，能获得极致的推理性能。
   • 注意：转换过程可能会遇到算子不支持的问题，需要根据DEIM模型中使用的具体操作进行调整或自定义算子。

3. 输入分辨率：这是最直接的杠杆。在部署时，如果对远处的小目标检测要求不高，可以适当降低推理时的输入图像分辨率（如从512降到416），速度会线性提升（因为计算量约与分辨率平方成正比）。

4. 批处理（Batch Inference）：如果需要对大量图片进行离线处理，尽量使用批处理。一次性输入多张图片比一张张处理要快得多，因为GPU的并行能力得到了充分利用。

6.3 持续迭代与模型维护

模型部署上线不是终点。在实际应用中，你会持续收集到新的SAR数据，可能会发现模型在某些新场景（如不同极化方式、不同入射角、复杂港口背景）下性能下降。

这就需要建立一套持续学习（Continual Learning）或在线学习（Online Learning）的流程，虽然实现起来复杂，但思路可以简单规划：

1. 数据回流：将模型推理结果（特别是低置信度的预测或人工复核发现的错误）连同原始图像保存下来，形成新的标注数据。
2. 增量训练：定期（如每月）用累积的新数据，在原有模型权重的基础上进行微调（Fine-tuning）。注意要同时混合一部分旧数据，以防模型“遗忘”之前学到的知识（即灾难性遗忘）。
3. A/B测试：将新训练的模型与线上模型进行对比测试，确认性能提升后再更新。

这个过程能让你基于DEIM构建的SAR目标检测系统，随着时间和数据的积累，变得越来越智能和鲁棒。