目标检测——数据处理

1. Mosaic 数据增强

Mosaic 数据增强步骤:

(1). 选择四个图像：

从数据集中随机选择四张图像。这四张图像是用来组合成一个新图像的基础。

(2) 确定拼接位置：

设计一个新的画布(输入size的2倍)，在指定范围内找出一个随机点（如图1所示： 范围在320 ~ 960之间）。每一张小图按照长边resize到输入的输入size的大小，然后依次拼接到对应位置。

(3) 调整图像大小和裁剪：

对每个选定的图像进行缩放和裁剪，使其适合分配给它的区域。 这样可以确保每个图像都能很好地适应其对应的象限，并且不会超出边界。

(4) 调整标签：

如果你在进行目标检测任务，还需要调整每个图像中的目标框（bounding boxes）的坐标，使其适应新的复合图像的位置。具体来说，需要根据图像在复合图像中的位置重新计算目标框的位置和尺寸。

(5) 应用其他增强操作（可选）：

在生成的复合图像上可以进一步应用其他常见的数据增强技术，如颜色抖动（color jittering）、水平翻转（horizontal flipping）、旋转（rotation）等，以进一步丰富数据集。 2. CutMix 数据增强

CutMix是一种数据增强技术，旨在通过将两张图像的一部分区域进行混合，并相应地调整标签，来增加训练样本的多样性。这种方法不仅能够提高模型的泛化能力，还能有效防止过拟合。

CutMix 数据增强的具体步骤：

(1) 选择两张图像和标签：

从数据集中随机选择两张图像 image1 和 image2 及其对应的标签 label1 和 label2。

(2) 确定混合区域：

在 image1 中随机选择一个矩形区域 (x, y, w, h)，其中 (x, y) 是矩形的左上角坐标，(w, h)是矩形的宽度和高度。

通常使用均匀分布来随机选择这些参数，例如：

lam = np.random.beta(beta, beta) # Beta分布参数，用于控制混合比例 x = np.random.randint(0, image1.shape[1]) y = np.random.randint(0, image1.shape[0]) w = int(image1.shape[1] * np.sqrt(1 - lam)) h = int(image1.shape[0] * np.sqrt(1 - lam))

(3) 裁剪并混合区域：

将 image2 中对应区域的图像裁剪出来，并将其粘贴到 image1 的选定区域中。

这一步可以通过简单的图像操作完成：

def cutmix(image1, image2, x, y, w, h): mixed_image = image1.copy() mixed_image[y:y+h, x:x+w] = image2[y:y+h, x:x+w] return mixed_image

(4) 调整标签： 对于分类任务，标签可以根据混合区域的比例进行线性插值。假设 lam 是混合区域占总面积的比例，则新图像的标签可以表示为：

new_label = lam * label1 + (1 - lam) * label2

对于目标检测任务，需要调整每个目标框的位置和标签，以反映混合后的图像内容。具体来说：

如果目标框完全位于混合区域之外，则保留原标签。如果目标框部分位于混合区域之内，则需要根据交集区域调整目标框的位置和大小。