Question

神经网络（深度学习）的几个基础概念

Answer 1

从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。

Answer 2

MVSNet的深度估计是通过神经网络直接学习的。网络训练方法是，输入代价体和对应深度图真值，利用SoftMax回归每-一个像素在深度处的概率，得到一个表示参考影像每个影像沿深度方向置信度的概率体(图4.4-b)，以此完成从代价到深度值的学习过程。
当已知概率体时，最简单的方法可以获取参考影像的所有像素在不同深度的概率图，按照赢者通吃原则直接估计深度图。然而，赢者通吃原则无法在亚像素级别估计深度，造成深度突变、不平滑情况。所以需要沿着概率体的深度方向，以深度期望值作为该像素的深度估计值，使得整个深度图中的不同部分内部较为平滑。
(4-3)
其中，表示特征在深度置信度。
深度图优化
原始代价体往往是含有噪声污染的，因此，为防止噪声使得网络过度拟合，MVSNet中使用基于多尺度的三维卷积神经网络进行代价体正则化，利用U-Net网络，对代价体进行降采样，并提取不同尺度中的上下文信息和临近像素信息，对代价体进行过滤(图4.5)。