第三十三课.一些经典的优化策略与神经网络变种全局最优与局部最优经典网络变种扩展内容
目录全局最优与局部最优常用的三种优化技巧补充内容:快照集成经典网络变种小波神经网络模糊神经网络RBF网络ART网络SOM网络级联相关网络Elman网络Boltzmann机值得一看:Dendrite Net树突网络扩展内容全局最优与局部最优常用的三种优化技巧神经网络的表现与训练数据集的标注存在误差,网络的训练过程可以看作是一个参数寻优过程。基于梯度的搜索是最广泛使用的参数寻优方法。我们从某些初始解开始,迭代寻找最优参数值。每次迭代中,我们先计算误差函数在当前点的梯度,然后根据梯度确定搜索方向。比如