尊敬机器猫

文章
5
资源
0
加入时间
2年10月24天

【theano-windows】学习笔记三——theano中的导数前言梯度计算计算雅克比矩阵计算海森矩阵雅可比式与向量乘积海森矩阵与向量乘积注意事项

前言就一个NN而言,包含梯度、偏置、参数更新,而前面第一篇博客学习了theano中符号变量的定义, 第二篇博客学习了变量的随机初始化, 变量之间的互相操作(类似于sigmoid(w∗x+b)sigmoid(w*x+b)), 但是参数更新涉及到损失函数的偏导计算,这一章节就是看看theano的梯度计算函数`tensor.grad(). 此外还有雅可比式,海森矩阵,雅克比乘以向量,海森矩阵乘以向量的操作