tensorflow2.0 学习笔记-数据增强ImageDataGenerator

68 阅读 0 评论 45 点赞

我是靠谱客的博主呆萌冬日，最近开发中收集的这篇文章主要介绍tensorflow2.0 学习笔记-数据增强ImageDataGenerator，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

ImageDataGenerator

https://tensorflow.google.cn/api_docs/python/tf/keras/preprocessing/image/ImageDataGenerator

tf.keras.preprocessing.image.ImageDataGenerator(
featurewise_center=False, samplewise_center=False,
featurewise_std_normalization=False, samplewise_std_normalization=False,
zca_whitening=False, zca_epsilon=1e-06, rotation_range=0, width_shift_range=0.0,
height_shift_range=0.0, brightness_range=None, shear_range=0.0, zoom_range=0.0,
channel_shift_range=0.0, fill_mode=‘nearest’, cval=0.0, horizontal_flip=False,
vertical_flip=False, rescale=None, preprocessing_function=None,
data_format=None, validation_split=0.0, dtype=None
)

参数：

featurewise_center：布尔值，使输入数据集去中心化（均值为0）, 按feature执行。

samplewise_center：布尔值，使输入数据的每个样本均值为0。
featurewise_std_normalization：布尔值，将输入除以数据集的标准差以完成标准化, 按feature执行。

samplewise_std_normalization：布尔值，将输入的每个样本除以其自身的标准差。

zca_whitening：布尔值，对输入数据施加ZCA白化。

rotation_range：整数，数据提升时图片随机转动的角度。随机选择图片的角度，是一个0_{180的度数，取值为0}180。

width_shift_range：浮点数，图片宽度的某个比例，数据提升时图片随机水平偏移的幅度。

height_shift_range：浮点数，图片高度的某个比例，数据提升时图片随机竖直偏移的幅度。

height_shift_range和width_shift_range是用来指定水平和竖直方向随机移动的程度，这是两个0~1之间的比例。

shear_range：浮点数，剪切强度（逆时针方向的剪切变换角度）。是用来进行剪切变换的程度。

zoom_range：浮点数或形如[lower,upper]的列表，随机缩放的幅度，若为浮点数，则相当于[lower,upper] = [1 - zoom_range, 1+zoom_range]。用来进行随机的放大。

channel_shift_range：浮点数，随机通道偏移的幅度。

fill_mode：‘constant’，‘nearest’，‘reflect’或‘wrap’之一，当进行变换时超出边界的点将根据本参数给定的方法进行处理

cval：浮点数或整数，当fill_mode=constant时，指定要向超出边界的点填充的值。

horizontal_flip：布尔值，进行随机水平翻转。随机的对图片进行水平翻转，这个参数适用于水平翻转不影响图片语义的时候。

vertical_flip：布尔值，进行随机竖直翻转。

rescale: 值将在执行其他处理前乘到整个图像上，我们的图像在RGB通道都是0_{255的整数，这样的操作可能使图像的值过高或过低，所以我们将这个值定为0}1之间的数。

preprocessing_function: 将被应用于每个输入的函数。该函数将在任何其他修改之前运行。该函数接受一个参数，为一张图片（秩为3的numpy array），并且输出一个具有相同shape的numpy array

data_format：字符串，“channel_first”或“channel_last”之一，代表图像的通道维的位置。该参数是Keras 1.x中的image_dim_ordering，“channel_last”对应原本的“tf”，“channel_first”对应原本的“th”。以128x128的RGB图像为例，“channel_first”应将数据组织为（3,128,128），而“channel_last”应将数据组织为（128,128,3）。该参数的默认值是~/.keras/keras.json中设置的值，若从未设置过，则为“channel_last”。

示例：

datagen = ImageDataGenerator(
    preprocessing_function = preprocess_input,
    rotation_range = 30,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    shear_range = 0.2,
    zoom_range = 0.2,
    horizontal_flip = True,
)

配套使用的api

flow

def flow(self, x, y=None, batch_size=32, shuffle=True,sample_weight=None, seed=None,save_to_dir=None,save_prefix=’’, save_format=‘png’,subset=None)

参数

    x: 输入数据。秩为 4 的 Numpy 矩阵或元组。
    如果是元组，第一个元素应该包含图像，第二个元素是另一个 Numpy 数组或一列 Numpy 数组，它们不经过任何修改就传递给输出。可用于将模型杂项数据与图像一起输入。对于灰度数据，图像数组的通道轴的值应该为 1，而对于 RGB 数据，其值应该为 3。
    
    y: 标签。
    batch_size: 整数 (默认为 32)。
    
	shuffle: 布尔值 (默认为 True)。
	
	sample_weight: 样本权重。
	
	seed: 整数（默认为 None）。
	
	save_to_dir: None 或 字符串（默认为 None）。这使您可以选择指定要保存的正在生成的增强图片的目录（用于可视化您正在执行的操作）。
	
	save_prefix: 字符串（默认 ''）。保存图片的文件名前缀（仅当 save_to_dir 设置时可用）。
	
	save_format: "png", "jpeg" 之一（仅当 save_to_dir 设置时可用）。默认："png"。
	
	subset: 数据子集 ("training" 或 "validation")，如果 在 ImageDataGenerator 中设置了 validation_split。

.flow_from_directory(directory)

flow_from_directory(directory): 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据

directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本

target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸

color_mode: 颜色模式,为"grayscale",“rgb"之一,默认为"rgb”.代表这些图片是否会被转换为单通道或三通道的图片.

classes: 可选参数,为子文件夹的列表,如[‘dogs’,‘cats’]默认为None. 若未提供,则该类别列表将从directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。

class_mode: “categorical”, “binary”, "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用model.predict_generator()和model.evaluate_generator()等函数时会用到.

batch_size: batch数据的大小,默认32

shuffle: 是否打乱数据,默认为True

seed: 可选参数,打乱数据和进行变换时的随机数种子

save_to_dir: None或字符串，该参数能让你将提升后的图片保存起来，用以可视化

save_prefix：字符串，保存提升后图片时使用的前缀, 仅当设置了
save_to_dir时生效

save_format：“png"或"jpeg"之一，指定保存图片的数据格式,默认"jpeg”

flollow_links: 是否访问子文件夹中的软链接

flow_from_dataframe
函数

    flow_from_dataframe(
    dataframe:          Pandas dataframe，一列为图像的文件名，另一列为图像的类别， 或者是可以作为原始目标数据多个列。
    directory:          字符串，目标目录的路径，其中包含在 dataframe 中映射的所有图像
    x_col='filename',   字符串，dataframe 中包含目标图像文件夹的目录的列
    y_col='class',      字符串或字符串列表，dataframe 中将作为目标数据的列。
    has_ext=True,       布尔值，如果 dataframe[x_col] 中的文件名具有扩展名则为 True，否则为 False。
    target_size=(256, 256), 整数元组 (height, width)，默认为 (256, 256)。 所有找到的图都会调整到这个维度。
    color_mode='rgb',   "grayscale", "rbg" 之一。默认："rgb"。 图像是否转换为 1 个或 3 个颜色通道。
    classes=None,        可选的类别列表 (例如， ['dogs', 'cats'])。默认：None。 
                         如未提供，类比列表将自动从 y_col 中推理出来，y_col 将会被映射为类别索引）。 
                         包含从类名到类索引的映射的字典可以通过属性 class_indices 获得。
    class_mode='categorical':  "categorical", "binary", "sparse", "input", "other" or None 之一。 默认："categorical"。决定返回标签数组的类型：
								"categorical" 将是 2D one-hot 编码标签，
								"binary" 将是 1D 二进制标签，
								"sparse" 将是 1D 整数标签，
								"input" 将是与输入图像相同的图像（主要用于与自动编码器一起使用），
								"other" 将是 y_col 数据的 numpy 数组，
								None, 不返回任何标签（生成器只会产生批量的图像数据，这对使用 model.predict_generator(), model.evaluate_generator() 等很有用）。
    batch_size=32,        批量数据的尺寸（默认：32）。
    shuffle=True,         是否混洗数据（默认：True）
    seed=None,            可选的混洗和转换的随即种子。
    save_to_dir=None,     None 或 str (默认: None). 这允许你可选地指定要保存正在生成的增强图片的目录（用于可视化您正在执行的操作）。
    save_prefix='',       字符串。保存图片的文件名前缀（仅当 save_to_dir 设置时可用）。
    save_format='png',    "png", "jpeg" 之一（仅当 save_to_dir 设置时可用）。默认："png"。
    subset=None,           数据子集 ("training" 或 "validation")，如果在 ImageDataGenerator 中设置了 validation_split。
    interpolation='nearest' 在目标大小与加载图像的大小不同时，用于重新采样图像的插值方法。 
                            支持的方法有 "nearest", "bilinear", and "bicubic"。 如果安装了 1.1.3 以上版本的 PIL 的话，同样支持 "lanczos"。 
                            如果安装了 3.4.0 以上版本的 PIL 的话，同样支持 "box" 和 "hamming"。 默认情况下，使用 "nearest"。)