Dropout1.dropout的过程： - 首先随机（临时）删掉网络中一半的隐藏神经元，输...
L1正则化和L2正则化的解读
1.Regularization(正则化) 不是 normalization(规范化),正则化解决的问题是防...
KL散度和交叉熵的关系
1.KL散度,常被用来衡量两个分布之间相似度的大小. 2.KL散度: 3.交叉熵: 4.KL散度...
sigmoid和softmax的理解和推导
sigmoid1.sigmoid的代码实现： import numpy as np d...
常用优化算法的理解与总结以及pytorch中优化算法
1.深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -...
常用损失函数的理解与总结以及pytorch中的损失函数
1.损失函数、代价函数与目标函数的定义： - 损失函数（Loss Function）：是定义在...
激活函数及常用激活函数理解与总结
1.为什么要使用激活函数：如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下每一层节点...
从协方差矩阵到PCA再到矩阵分解
本文将要从最简单的方式记录PCA相关的知识内容，涵盖PCA的先验知识（协方差矩阵），PCA的原理（两种理解方...
KNN原理及代码实现及应用
总算是要对KNN下手了，之前的我一直知道KNN，但是老和k均值（k-means）搞混（记错名字），这次借着好...