学习率(Learning rate)的理解以及如何调整学习率
1.什么是学习率(Learning rate)？
**学习率(Learning rate)**作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。
这里以梯度下降为例，来观察一下不同的学习率对 ...
Canny边缘检测
Codetitle: Canny边缘检测-论鸡尾酒疗法tags: -数字图像处理categories: cvcover: /img/ML.pngkatex: true
Canny 边缘检测算法被很多人认为是边缘检测的最优算法，为什么说它是最优算法呢？我们参考一下业界的评判标准：
低错误率: 标识出 ...
图像金字塔
Codetitle: 图像金字塔tags: -数字图像处理categories: cvcover: /img/ML.pngkatex: true
图像金字塔：
一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才 ...
cnn
https://www.cnblogs.com/pinard/p/6489633.html
https://www.cnblogs.com/pinard/p/6494810.html
特征图
数据输入层：Input Layer
卷积计算层：CONV Layer
ReLU激励层：ReLU Incen ...
tensflow
TensorFlow变量作用域 TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。 其命名来源于本身的原理，Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算.Tensorflow运行过程就是张量从图的一端流动到另一端的 ...
感知器模型
感知器模型
感知器是一种模拟人的神经元的一种算法模型，是一种研究单个训练样本的二元分类器，是SVM和人工神经网络(ANN, Artificial Neural Networks)的基础。
一个感知器接受几个二进制的输入，并产生一个二进制的输出（阶跃函数），通常的表达方式如下：
感知器可以看作是根据 ...
过拟合与正则化
过拟合
图1，2：
1-3与2-3过拟合，代价函数等于0或者无限接近于0，但无法应用于新样本中.
图3：
当有很多特征变量时，已经不是多项式阶次的选择问题。当我们预测房价时，有许多特征变量与房价可能有关，但是当特征变量过多，训练样本过少时，则容易出现过拟合问题。
为了解决过拟合问题，有两个方法 ...
数学公式：
数学公式：
Jensen不等式
如果函数f为凸函数，那么存在下列公式：f(θx1+(1−θx2))≤θf(x1)+(1−θ)f(x2)f(\theta x_1 +(1-\theta x_2))\leq \theta f(x_1)+(1-\theta)f(x_2)f(θx1+(1−θx2)) ...
朴素贝叶斯
涉及公式
先验概率P(A)：在不考虑任何情况下，A事件发生的概率
条件概率P(B|A)：A事件发生的情况下，B事件发生的概率:
P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB)
后验概率P(A|B)：在B事件发生之后，对A事件发 ...
