..

☀️

今天干了什么事？

倒腾了一段时间这个站点的部署，成功部署在了http://daily.dreamerryao.wiki/

4点多睡，10点起来还是好困，开始准备明天的汇报PPT，至少学了6个小时！把Palette又看了一遍，补充了很多知识，早上4点肝完了ppt…

今天有什么可以分享？

神经网络相关基础知识

激活函数

激活函数是指将激活的神经元的特征 通过某个函数将特征保留并映射到对应的分类标签上，负责将神经元的输入映射到输出端。

卷积和反卷积

卷积 = 利用卷积核对图像进行特征提取。

输入、卷积核、输出都为矩阵，卷积核实际上就是一系列具有特定分布的权重矩阵，通过对原图不同位置的像素点进行特定分布的加权，就能够提取卷积核所对应的一种图像特征。

卷积有三种情况：

  • 卷积后，结果图像比原图小：称之为valid卷积
  • 卷积后，结果图像与原图大小相同：称之为same卷积
  • 卷积后，结果图像比原图大：称之为full卷积

full卷积其实就是反卷积的过程。到这里应该可以意识到，反卷积实际上也是一种特殊的卷积方式，它可以通过full卷积将原图扩大，增大原图的分辨率，所以对图像进行反卷积也称为对图像进行“上采样”。

举例：32*32*3的矩阵，使用5*5*5的卷积核大小进行卷积，得到结果28*28*1的矩阵。

池化(下采样)

池化是一种减少参数的计算方法，而减少参数的方法就是直接把一些删除，池化层就是专门用于降低参数的处理层。 4×4原图通过2×2的池化核进行池化后，会成为2×2的图像。

池化和卷积：都为矩阵运算，卷积中一个位置的元素会被计算多次，池化只会计算一次

损失函数

损失函数是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的训练效果越好，鲁棒性越强。

损失函数是神经网络在通过梯度下降等方法调整参数，使得训练结果不断逼近真实值时必须使用到的一个函数。