image.png
.
测试集中1000个样本，600个是A类，400个B类，模型预测结果700个判断为A类，其中正确的有500个，300个判断为B类，其中正确的有200个。请计算B类的准确率(Precision)和召回率(Recall).
准确率：500/700,召回率500/600.
简述：A)训练模型时，如果样本类别不均衡，有什么办法解决? B)如何判断模型是否过拟合? C)对于神经网络模型有哪些常用方法解决过拟合问题?
A 样本类别不均衡时可以采用再缩放的策略，目前比较流行的是采用过采样和欠采样两种采样方式，欠采样是直接对训练集中的样本较多类别进行去除操作，使得样本数目接近，具有开销小的特点，代表是EasyEnsemble，利用集成学习。过采样是通过增加类别少的样本数量，使得样本数目接近，代表方法是插值smote算法
B 可以对模型进行交叉验证，以观察结果是否波动较大
C 神经网络模型可以通过 减少 隐含层数量（神经网路深度），减少隐含层神经元数量、减少训练次数等降低过拟合问题
A)包括不限于：1.数据增强，2. Weighted loss，3. 采样使用部分负样本
B)训练集loss低于验证集loss很多;
C)包括不限于：1. 正则化项，2. Dropout，3. Batch normalization
简述：A)神经网络节点的激活函数作用是什么? B)Sigmoid, relu和softmax激活函数表达式是什么? C)各自的作用优缺点是什么？
A 神经网络的激活函数是当信息量达到一定数量时才能影响结果，即过滤掉弱信息，同时，也可以方式计算中出现的浮点运算下溢
B sigmoid = 1/(1+exp(-x))
relu = max(0,x)
softmax = exp(z)/ 求和exp(zd)
C sigmoid 缺点 会使得函数饱和 造成梯度消失 并且不是以0为中心的 导致参数收敛速度很慢，影响训练效率，所以一般很少再神经网络中使用这个函数 优点 近似概率估计
relu 优点 梯度不饱和 正向传播速度快，因为其只是设置了阈值，当 值大于0时，f(x) =x 对SGD的收敛有巨大的加速作用
缺点是 比较脆弱 容易受大梯度影响
softmax 一般用于多输出神经元 保证输出神经元之和为1
A)激活函数是为了增强神经网络的非线性性;
B)
image
C)Sigmoid函数可以增强0附近的梯度，放大信号，梯度计算方便，但对非敏感区域会饱和，造成梯度消失; Relu函数为单侧抑制，增强稀疏性，避免梯度消失; Softmax函数用于多类分类问题，将输出归一化，方便计算基于概率的loss;
给定多层全连接神经网络，每层均有n个节点，输出层为第L层，标签是y，损失函数为均方误差。网络的第l层( l∈{1,2,…,L-1,L} )的第j个节点的输入用 xjl 来表示，输出用 ajl 来表示，激励函数为f(x)。
A)请写出损失函数C的表达式；
B)请推导采用SGD训练，学习率为η时，第L-1层第i个节点与输出层第j个节点的连接权重 wji(L-1) 的更新量 wji(L-1)
299944_1505354672261_82953C56CC7DF143B96ECB9DED04C246.png
网友评论