题目内容
(请给出正确答案)
[单选题]
激活函数作为神经网络的重要部分,其种类也是多种多样,以下函数也是神经网络激活函数的是?()
A.Relu函数
B.tanh函数
C.Sigmoid函数
D.SoftPlus函数
查看答案
如果结果不匹配,请 联系老师 获取答案
A.Relu函数
B.tanh函数
C.Sigmoid函数
D.SoftPlus函数
A.对加权累加信息进行非线性变化(通过激活函数)
B.将加权累加信息向后续相邻神经元传递
C.对前序相邻神经元所传递信息进行加权累加
D.向前序相邻神经元反馈加权累加信息
A.对激活函数的输出结果进行范围限定,有助于梯度平稳下降,而ReLU输出范围无限的函数会导致梯度消失问题
B.ReLU函数中所有负值均被截断为结果0,从而导致特征丢失,可适当调高学习率避免此类情况
C.RMSProp学习率调整策略引入累积梯度的概念,从而解决学习率过早趋向于0而结束训练
D.随机梯度下降(SGD)每次更新只随机取一个样本,按照固定学习率计算梯度,所以速度较快