反向传播算法、神经网络
思想：前向计算Loss函数值，然后通过后向传递将梯度传递回去，通过设置learning_rate进行梯度更新。
梯度计算
其中各节点的Loss值可以计算诸如x*y函数的梯度（如y的梯度即为x）
max gate：较大者梯度为1，较小者为0（分段函数）
链式求导法则：local gradent与后向梯度相乘，多个偏导相加。
核心为非线性网络。即多层线性网络通过非线性函数连接起来，正如同神经元一样。
两层神经网络
其中W1、W2，b1、b2均为参数，而h为hiden layer的score。
将神经元与神经网络做类比是不严谨的，但是他们有相似性。
类比
神经元通过汇集信号，然后放电；而神经网络层将所有值相加，然后通过非线性函数（如relu）进行参数放大。
常见激活函数
神经网络基本结构为一个输入层、若干隐藏层、一个输出层。
三层神经网络
反向传播算法、神经网络 思想：前向计算Loss函数值，然后通过后向传递将梯度传递回去，通过设置learning_r...
注：这篇文章是基于cs231n 的lecture 3. 数据 我们的数据如Fig 0所示 上边的图片是模型的输入，...
CNN卷积、池化 全连接层将图像展开为以为向量 卷积层则保留图像空间结构 因此可以认为卷积网络是一系列卷积层组成的...
https://www.jefkine.com/general/2016/09/05/backpropagatio...
A. Creating function: 1. Syntax def
2.2 定点加法、减法运算 2.2.1 补码加法 2.2.2 补码减法 2.2.3 溢出概念与检测方法 2.3 定...
Lecture 4, Systematic errors and sampling Additional stra...
过去的模型都是一对一的。 一对多应用于image captioning。 many-to-one模型，应用于情感分...
强化学习：Agent与Environment之间交互，Agent发起一个Action，环境会给出一个reward。...
本节内容：图像分类概述、KNN、线性分类器 图像分类是计算机视觉的核心问题。 问题 ：语义分割的鸿沟。图像仅仅是一...
本文标题：[cs231n]Lecture 4:Backpropagatio
本文链接：https://www.haomeiwen.com/subject/lxvmlqtx.html
网友评论