【小白学PyTorch】18.TF2构建自定义模型

【机器学习炼丹术】的学习笔记分享

<<小白学PyTorch>>

扩展之Tensorflow2.0 | 17 TFrec文件的创建与读取

扩展之Tensorflow2.0 | 16 TF2读取图片的方法

扩展之Tensorflow2.0 | 15 TF2实现一个简单的服装分类任务

小白学PyTorch | 14 tensorboardX可视化教程

小白学PyTorch | 13 EfficientNet详解及PyTorch实现

小白学PyTorch | 12 SENet详解及PyTorch实现

小白学PyTorch | 11 MobileNet详解及PyTorch实现

小白学PyTorch | 10 pytorch常见运算详解

小白学PyTorch | 9 tensor数据结构与存储结构

小白学PyTorch | 8 实战之MNIST小试牛刀

小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解

小白学PyTorch | 6 模型的构建访问遍历存储（附代码）

小白学PyTorch | 5 torchvision预训练模型与数据集全览

小白学PyTorch | 4 构建模型三要素与权重初始化

小白学PyTorch | 3 浅谈Dataset和Dataloader

小白学PyTorch | 2 浅谈训练集验证集和测试集

小白学PyTorch | 1 搭建一个超简单的网络

小白学PyTorch | 动态图与静态图的浅显理解

参考目录：

• 1 创建自定义网络层

• 2 创建一个完整的CNN

• • 2.1 keras.Model vs keras.layers.Layer

之前讲过了如何用tensorflow构建数据集，然后这一节课讲解如何用Tensorflow2.0来创建模型。

TF2.0中创建模型的API基本上都放到了它的Keras中了，Keras可以理解为TF的高级API，里面封装了很多的常见网络层、常见损失函数等。后续会详细介绍keras的全面功能，本篇文章讲解如何构建模型。

1 创建自定义网络层

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import tensorflow as tf
import tensorflow.keras as keras

class MyLayer(keras.layers.Layer):
    def __init__(self, input_dim=32, output_dim=32):
        super(MyLayer, self).__init__()

        w_init = tf.random_normal_initializer()
        self.weight = tf.Variable(
            initial_value=w_init(shape=(input_dim, output_dim), dtype=tf.float32),
            trainable=True) # 如果是false则是不参与梯度下降的变量

        b_init = tf.zeros_initializer()
        self.bias = tf.Variable(initial_value=b_init(
            shape=(output_dim), dtype=tf.float32), trainable=True)

    def call(self, inputs):
        return tf.matmul(inputs, self.weight) + self.bias


x = tf.ones((3,5))
my_layer = MyLayer(input_dim=5,
                   output_dim=10)
out = my_layer(x)
print(out.shape)
>>> (3, 10)

这个就是定义了一个TF的网络层，其实可以看出来和PyTorch定义的方式非常的类似：

• 这个类要继承tf.keras.layers.Layer,这个pytorch中要继承torch.nn.Module类似；

• 网络层的组件在__def__中定义，和pytorch的模型类相同；

• call()和pytorch中的forward()的类似。

上面代码中实现的是一个全连接层的定义，其中可以看到使用tf.random_normal_initializer()来作为参数的初始化器，然后用tf.Variable来产生网络层中的权重变量，通过trainable=True这个参数说明这个权重变量是一个参与梯度下降的可以训练的变量。

我通过tf.ones((3,5))产生一个shape为[3,5]的一个全是1的张量，这里面第一维度的3表示有3个样本，第二维度的5就是表示要放入全连接层的数据（全连接层的输入是5个神经元）；然后设置的全连接层的输出神经元数量是10，所以最后的输出是(3,10)。

2 创建一个完整的CNN

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import tensorflow as tf
import tensorflow.keras as keras

class CBR(keras.layers.Layer):
    def __init__(self,output_dim):
        super(CBR,self).__init__()
        self.conv = keras.layers.Conv2D(filters=output_dim, kernel_size=4, padding='same', strides=1)
        self.bn = keras.layers.BatchNormalization(axis=3)
        self.ReLU = keras.layers.ReLU()

    def call(self, inputs):
        inputs = self.conv(inputs)
        inputs = self.ReLU(self.bn(inputs))
        return inputs

class MyNet(keras.Model):
    def __init__ (self,input_dim=3):
        super(MyNet,self).__init__()
        self.cbr1 = CBR(16)
        self.maxpool1 = keras.layers.MaxPool2D(pool_size=(2,2))
        self.cbr2 = CBR(32)
        self.maxpool2 = keras.layers.MaxPool2D(pool_size=(2,2))

    def call(self, inputs):
        inputs = self.maxpool1(self.cbr1(inputs))
        inputs = self.maxpool2(self.cbr2(inputs))
        return inputs

model = MyNet(3)
data = tf.random.normal((16,224,224,3))
output = model(data)
print(output.shape)
>>> (16, 56, 56, 32)

这个是构建了一个非常简单的卷积网络，结构是常见的：卷积层+BN层+ReLU层。可以发现这里继承的一个tf.keras.Model这个类。

2.1 keras.Model vs keras.layers.Layer

Model比Layer的功能更多，反过来说，Layer的功能更精简专一。

• Layer:仅仅用作张量的操作，输入一个张量，输出也要求是一个张量，对张量的操作都可以用Layer来封装；

• Model：一个更加复杂的结构，由多个Layer组成。 Model的话，可以使用.fit(),.evaluate()，.predict()等方法来快速训练。保存和加载模型也是在Model这个级别进行的。

现在说一说上面的代码和pytorch中的区别，作为一个对比学习、也作为一个对pytorch的回顾：

• 卷积层Conv2D中，Keras中不用输入输入的通道数，filters就是卷积后的输出特征图的通道数；而PyTorch的卷积层是需要输入两个通道数的参数，一个是输入特征图的通道数，一个是输出特征图的通道数；

• keras.layers.BatchNormalization(axis=3)是BN层，这里的axis=3说明第三个维度（从0开始计数）是通道数，是需要作为批归一化的维度（这个了解BN算法的朋友应该可以理解吧，不了解的话去重新看我之前剖析BN层算法的那个文章吧，在文章末尾有相关链接）。pytorch的图像的四个维度是：

而tensorflow是：

总之，学了pytorch之后，再看keras的话，对照的keras的API，很多东西都直接就会了，两者的API越来越相似了。

上面最后输出是(16, 56, 56, 32)，输入的是 的维度，然后经过两个最大池化层，就变成了 了。

到此为止，我们现在应该是可以用keras来构建模型了。

1
2
3
4
5
6
7
8
往期精彩回顾




适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑获取一折本站知识星球优惠券，复制链接直接打开：https://t.zsxq.com/662nyZF本站qq群704220115。加入微信群请扫码进群（如果是博士或者准备读博士请说明）：