基于python手写深度学习网络系列（5）

神经网络的学习能力

学习就是从训练数据中自动获取最优权重参数的过程

这里所说的“特征量”是指可以从输入数据（输入图像）中准确地提取本质数据（重要的数据）的转换器，常用的计算机视觉领域的特征量包括SIFT、SURF、HOG，将数据一般转化成向量的形式，然后再使用SVM，KNN等分类器进行学习（这是机器学习的过程）

为了正确评价模型的泛化能力，就必须划分训练数据和测试数据。另外，训练数据也可以称为监督数据，泛化能力就是处理训练数据之外的数据的能力。

过拟合（over fitting）

损失函数一般使用均方误差（mean squared error）和交叉熵误差等

Yk是神经网络的输出，tk是监测数据，k是维度

将正确解标签表示为1，其他标签表示为0 的表示方法称为one-hot 表示。

交叉熵误差

在考虑训练数据集时就要考虑所有数据损失函数的总和，交叉熵误差就会变成下面这样

我们从全部数据中选出一部分，作为全部数据的“近似”。神经网络的学习也是从训练数据中选出一批数据（称为mini-batch,小批量），然后对每个mini-batch 进行学习

在大量数据中抽取十个数据可以用np.random.choice()

这个可以同时处理单个数据或者批量数据

监督数据是标签形式时

y[np.arange(batch_size),t]能抽出各个数据的正确解标签对应的神经网络的输出（在这个例子中，y[np.arange(batch_size), t] 会生成NumPy 数组[y[0,2], y[1,7], y[2,0],

y[3,9], y[4,4]]）。

为什么要引入损失函数，不直接用精度？

在进行神经网络的学习时，不能将识别精度作为指标。因为如果以识别精度为指标，则参数的导数在绝大多数地方都会变为0。

为什么会变0？识别精度对微小的参数变化基本没有反应，跃迁函数的导数在绝大多数地方都为0.

想要实现沿着梯度的下降，就需要先计算倒数，偏导数，乃至梯度

此代码有个问题

在grad[idx]那里，如果不加上编号，那么计算出啦就是一个值而不是一个数组。

那么代码中的lambda应该怎么用呢？编程中提到的 lambda 表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数。

map() 函数，它可以将一个函数映射到一个可枚举类型上面。

map(f, a)也就是将函数 f 依次套用在 a 的每一个元素上面，获得结果 [2, 3, 4]。现在用 lambda 表达式来替换 f，就变成：map( lambda x : x + 1, [1, 2, 3] )

所以在上面代码中的lambda起到的作用就是将d*t+y的值赋给t然后再return

这里的quiver函数还需要理解一下。

quiver(U, V, **kw)

quiver(U, V, C, **kw)

quiver(X, Y, U, V, **kw)

quiver(X, Y, U, V, C, **kw)

最后

以上就是阔达短靴为你收集整理的基于python手写深度学习网络系列（5）神经网络的学习能力基于python手写深度学习网络系列（5）的全部内容，希望文章能够帮你解决基于python手写深度学习网络系列（5）神经网络的学习能力基于python手写深度学习网络系列（5）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。