使用 3 个Python库的图像增强
磐创AI介绍
本文中探索三个流行的 Python 图像增强库。
图像分类器通常在训练更多的图像时表现得更好。在图像分类模型中，一个常见的问题是，模型不能正确地对图像进行分类，只是因为它没有针对同一图像的不同方向进行训练。这可以通过向模型提供多种可能的图像方向和转换来克服。
然而，在现实中，收集这些不同的数据可能需要更多的时间、资源和专业知识，而且对公司来说成本可能很高。在这种情况下，图像数据增强是一个流行的选择，通过使用一个或多个增强技术来生成用于训练的各种图像，从而为现有数据集增加多样性。
尽管一些Python库支持多种增强技术，但并不是所有的技术都适合训练模型。用户需要知道哪些增强技术可以帮助生成用于训练模型的实际附加数据。
我们可以使用各种技术来增强图像数据。它可以包括：
· 使用几何变换（例如翻转、裁剪、旋转、缩放等）增强图像数据。
· 通过使用颜色转换来增强图像数据，例如通过调整亮度、暗度、锐度、饱和度等。
· 通过随机擦除、混合图像等来增强图像数据。
Imgaug
Imgaug 是一个开源 python 包，可让你在机器学习实验中增强图像。它适用于各种增强技术。它有一个简单而强大的界面，可以增强图像、地标、边界框、热图和分割图。
让我们首先使用 pip 安装这个库。
pip install imgaug
接下来，我们将使用 pip 命令在命令提示符下安装名为“IPyPlot”的 python 包：
pip install ipyplot
IPyPlot 是一个 Python 工具，允许在 Python Notebook 单元格中快速高效地显示图像。这个包将 IPython 与 HTML 相结合，以提供一种更快、更丰富、更具交互性的方式来显示图像。这个包的 ＇plot＿images＇ 命令将用于以网格状结构绘制所有图像。
此外，我们将导入扩充数据所需的所有必要包。
import imageio
import imgaug as ia
import imgaug．augmenters as iaa
增强的图像路径在此处定义。我们将使用鸟类图像作为示例。
input＿img ＝ imageio．imread（＇．．／input／image－bird／bird．jpg＇）
图像翻转
我们可以使用下面的命令水平和垂直翻转图像。以下代码中的“Fliplr”关键字水平翻转图像。同样，关键字“Flipud”垂直翻转图像。
＃Horizontal Flip
hflip＝ iaa．Fliplr（p＝1．0）
input＿hf＝ hflip．augment＿image（input＿img）
＃Vertical Flip
vflip＝ iaa．Flipud（p＝1．0）
input＿vf＝ vflip．augment＿image（input＿img）
images＿list＝［input＿img， input＿hf， input＿vf］
labels ＝ ［＇Original＇， ＇Horizontally flipped＇， ＇Vertically flipped＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
每个图像被翻转的概率由 p 表示。默认情况下，概率设置为 0．0。要水平翻转输入图像，请使用 Fliplr（1．0） 。同样，当垂直翻转图像时，使用 Flipud（1．0） 。
图像旋转
通过以度为单位定义旋转，我们可以旋转图像。
rot1 ＝ iaa．Affine（rotate＝（－50，20））
input＿rot1 ＝ rot1．augment＿image（input＿img）
images＿list＝［input＿img， input＿rot1］
labels ＝ ［＇Original＇， ＇Rotated Image＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
图像裁剪
裁剪图像包括从图像的侧面移除像素的列或行，可以从全尺寸输入图像中提取较小尺寸的子图像。要删除的像素数可以以绝对数或图像大小的一部分指定。
在这种情况下，我们使用从连续间隔 ［0．0， 0．3］ 中均匀获取的随机分数裁剪图像的每一侧，并在每个图像和每侧采样一次。在这里，我们为顶部取 0．3 的采样分数，这会将图像裁剪 0．3＊H，其中 H 是输入图像的高度。
crop1 ＝ iaa．Crop（percent＝（0， 0．3））
input＿crop1 ＝ crop1．augment＿image（input＿img）
images＿list＝［input＿img， input＿crop1］
labels ＝ ［＇Original＇， ＇Cropped Image＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
为图像添加噪点
该增强器将高斯噪声添加到输入图像。尺度值是产生噪声的正态分布的标准偏差。
noise＝iaa．AdditiveGaussianNoise（10，40）
input＿noise＝noise．augment＿image（input＿img）
images＿list＝［input＿img， input＿noise］
labels ＝ ［＇Original＇， ＇Gaussian Noise Image＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
图像剪切
该增强器以 －40 到 40 度范围内的随机量剪切图像。
shear ＝ iaa．Affine（shear＝（－40，40））
input＿shear＝shear．augment＿image（input＿img）
images＿list＝［input＿img， input＿shear］
labels ＝ ［＇Original＇， ＇Image Shearing＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
图像对比度
该增强器通过缩放像素值来调整图像对比度。
contrast＝iaa．GammaContrast（（0．5， 2．0））
contrast＿sig ＝ iaa．SigmoidContrast（gain＝（5， 10）， cutoff＝（0．4， 0．6））
contrast＿lin ＝ iaa．LinearContrast（（0．6， 0．4））
input＿contrast ＝ contrast．augment＿image（input＿img）
sigmoid＿contrast ＝ contrast＿sig．augment＿image（input＿img）
linear＿contrast ＝ contrast＿lin．augment＿image（input＿img）
images＿list＝［input＿img， input＿contrast，sigmoid＿contrast，linear＿contrast］
labels ＝ ［＇Original＇， ＇Gamma Contrast＇，＇SigmoidContrast＇，＇LinearContrast＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
GammaContrast 函数使用公式 255＊（（v／255）＊＊gamma 调整图像对比度，其中 v 是像素值，gamma 从范围 ［0．5， 2．0］ 中均匀采样。
SigmoidContrast 使用公式 255＊1／（1＋exp（gain＊（cutoff－v／255）） 调整图像对比度 （其中v为像素值，gain 从区间［3， 10］开始均匀采样（每张图像一次），截断采样与区间 ［0．4， 0．6］ 一致。
LinearContrast 使用公式 127 ＋ alpha＊（v－127） 改变图像对比度，其中 v 是像素值，alpha 从 ［0．4， 0．6］ 范围内均匀采样。
图像转换
“ElasticTransformation”增强器通过使用位移场在局部移动像素来变换图像。增强器的参数是 alpha 和 sigma。位移的强度由 alpha 控制，其中较大的值表示像素移动得更远。位移的平滑度由 sigma 控制，其中较大的值会导致更平滑的图案。
elastic ＝ iaa．ElasticTransformation（alpha＝60．0， sigma＝4．0）
polar ＝ iaa．WithPolarWarping（iaa．CropAndPad（percent＝（－0．2， 0．7）））
jigsaw ＝ iaa．Jigsaw（nb＿rows＝20， nb＿cols＝15， max＿steps＝（3， 7））
input＿elastic ＝ elastic．augment＿image（input＿img）
input＿polar ＝ polar．augment＿image（input＿img）
input＿jigsaw ＝ jigsaw．augment＿image（input＿img）
images＿list＝［input＿img， input＿elastic，input＿polar，input＿jigsaw］
labels ＝ ［＇Original＇， ＇elastic＇，＇polar＇，＇jigsaw＇］
ipyplot．plot＿images（images＿list，labels＝labels，img＿width＝180）
在使用“Polar Warping”增强器时，首先在极坐标表示中应用裁剪和填充，然后再将其扭转回笛卡尔表示。这个增强器可以为图像添加额外的像素。这些将被黑色像素填充。此外，“Jigsaw”增强以类似于拼图模式的方式移动图片内的单元格。
图像上的边界框
Imgaug 还为图像提供边界框支持。如果在增强期间旋转，该库可以旋转图像上的所有边界框。
from imgaug．augmentables．bbs import BoundingBox， BoundingBoxesOnImage
bbs ＝ BoundingBoxesOnImage（［
BoundingBox（x1＝40， x2＝550， y1＝40， y2＝780）
］， shape＝input＿img．shape）
ia．imshow（bbs．draw＿on＿image（input＿img））
Albumentations
Albumentations 是一个快速且知名的库，它与流行的深度学习框架（如 PyTorch 和 TensorFlow）集成。它也是 PyTorch 生态系统的一部分。
Albumentations 可以执行所有典型的计算机视觉任务，包括分类、语义分割、实例分割、对象识别和姿势估计。该库包含 70 多种不同的增强功能，用于从现有数据创建新的训练样本。它通常用于工业、深度学习研究、机器学习竞赛和开源项目。
让我们首先使用 pip 命令安装库。
pip install Albumentations
我们将导入使用 Albumentations 扩充数据所需的所有必要包：
import albumentations as A
import cv2
除了 Albumentations 包之外，我们还使用 OpenCV 包，这是一个支持多种图像格式的开源计算机视觉库。Albumentations 依赖于 OpenCV；因此，你已经安装了它。
图像翻转
＇A．HorizontalFlip＇ 和 ＇A．VerticalFlip＇ 函数用于水平和垂直翻转图像。p 是一个独特的参数，几乎所有的扩充都支持。它控制使用增强的概率。
＃HorizontalFlip
transform ＝ A．HorizontalFlip（p＝0．5）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
＃VerticalFlip
transform ＝ A．VerticalFlip（p＝1）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
图像缩放和旋转
该增强器随机使用仿射变换来平移、缩放和旋转输入图像。
transform ＝ A．ShiftScaleRotate（p＝0．5）
random．seed（7）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
图像 ChannelShuffle
该增强器随机重新排列输入图像的 RGB 通道。
from albumentations．augmentations．transforms import ChannelShuffle
transform ＝ ChannelShuffle（p＝1．0）
random．seed（7）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
图像曝光
该增强器反转输入图像中大于某个阈值的所有像素值。
from albumentations．augmentations．transforms import Solarize
transform ＝ Solarize（threshold＝200， p＝1．0）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
反转图像
通过从 255 中减去像素值，此增强器反转输入图像。
from albumentations．augmentations．transforms import InvertImg
transform ＝ InvertImg（p＝1．0）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
使用 Compose 增强管道
要定义一个扩展管道，首先，创建一个 Compose 实例。你必须提供扩充列表作为 Compose 类的参数。在此示例中，我们将使用各种增强功能，例如转置、模糊、失真等。
调用 Compose 将导致返回一个将进行图像增强的转换函数。
transform ＝ A．Compose（［
A．RandomRotate90（），
A．Transpose（），
A．ShiftScaleRotate（shift＿limit＝0．08， scale＿limit＝0．5， rotate＿limit＝5， p＝．8），
A．Blur（blur＿limit＝7），
A．GridDistortion（），
］）
random．seed（2）
augmented＿image ＝ transform（image＝input＿img）［＇image＇］
plt．figure（figsize＝（4， 4））
plt．axis（＇off＇）
plt．imshow（augmented＿image）
SOLT
SOLT 是一个深度学习数据增强库，支持图像、分割掩码、标签和关键点。SOLT 也很快，并且在其后端有 OpenCV。
我们将从使用 pip 命令安装 SOLT 开始
pip install solt
然后我们将导入增强图像数据所需的所有必要的 SOLT 包。
import solt
import solt．transforms as slt
h， w， c ＝ input＿img．shape
img ＝ input＿img［：w］
在这里，我们将为扩充管道创建一个 Stream 实例。你必须提供扩充列表作为流类的参数。
stream ＝ solt．Stream（［
slt．Rotate（angle＿range＝（－90， 90）， p＝1， padding＝＇r＇），
slt．Flip（axis＝1， p＝0．5），
slt．Flip（axis＝0， p＝0．5），
slt．Shear（range＿x＝0．3， range＿y＝0．8， p＝0．5， padding＝＇r＇），
slt．Scale（range＿x＝（0．8， 1．3）， padding＝＇r＇， range＿y＝（0．8， 1．3）， same＝False， p＝0．5），
slt．Pad（（w， h）， ＇r＇），
slt．Crop（（w， w）， ＇r＇），
slt．Blur（k＿size＝7， blur＿type＝＇m＇），
solt．SelectiveStream（［
slt．CutOut（40， p＝1），
slt．CutOut（50， p＝1），
slt．CutOut（10， p＝1），
solt．Stream（），
solt．Stream（），
］， n＝3），
］， ignore＿fast＿mode＝True）
fig ＝ plt．figure（figsize＝（17，17））
n＿augs ＝ 10
random．seed（2）
for i in range（n＿augs）：
img＿aug ＝ stream（｛＇image＇： img｝， return＿torch＝False， ）．data［0］．squeeze（）
ax ＝ fig．add＿subplot（1，n＿augs，i＋1）
if i ＝＝ 0：
ax．imshow（img）
else：
ax．imshow（img＿aug）
ax．set＿xticks（［］）
ax．set＿yticks（［］）
plt．show（）
结论
图像增强可以帮助增加现有数据集。目前有几个 Python 库可用于图像增强。在本文中，我们使用三个 Python 库——Imgaug、Albalentations和Solt探索了不同的图像增强技术。
