Question

深度学习 caffe flatten层怎么配置

Answer 1

flatten层用来扁平参数用，一般用在卷积层与全链接层之间，可以从vgg16网络中可以看出，但是在后来的网络中用GlobalAveragePooling2D代替了flatten层，可以从vgg16与inceptionV3网络对比看出。从参数的对比可以看出，显然这种改进大大的减少了参数的使用量，避免了过拟合现象。

from keras.models import Sequential

from keras.layers.core import Flatten

from keras.layers.convolutional import Convolution2D

from keras.utils.vis_utils import plot_model

model = Sequential()

model.add(Convolution2D(64,3,3,border_mode="same",input_shape=(3,32,32)))

# now：model.output_shape==(None,64,32,32)

model.add(Flatten())

# now: model.output_shape==(None,65536)

plot_model(model, to_file='Flatten.png', show_shapes=True)

扩展资料

应用

计算机视觉

香港中文大学的多媒体实验室是最早应用深度学习进行计算机视觉研究的华人团队。在世界级人工智能竞赛LFW（大规模人脸识别竞赛）上，该实验室曾力压FaceBook夺得冠军，使得人工智能在该领域的识别能力首次超越真人。 

语音识别

微软研究人员通过与hinton合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。

在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。

国内方面，阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。

参考资料来源：百度百科-深度学习

Answer 2

1.1卷积层(Convolution)类型：CONVOLUTION例子layers{name:"conv1"type:CONVOLUTIONbottom:"data"top:"conv1"blobs_lr:1#learningratemultiplierforthefiltersblobs_lr:2#learningratemultiplierforthebiasesweight_decay:1#weightdecaymultiplierforthefiltersweight_decay:0#weightdecaymultiplierforthebiasesconvolution_param{num_output:96#learn96filterskernel_size:11#eachfilteris11x11stride:4#step4pixelsbetweeneachfilterapplicationweight_filler{type:"gaussian"#initializethefiltersfromaGaussianstd:0.01#distributionwithstdev0.01(defaultmean:0)}bias_filler{type:"constant"#initializethebiasestozero(0)value:0}}}blobs_lr:学习率调整的参数，在上面的例子中设置权重学习率和运行中求解器给出的学习率一样，同时是偏置学习率为权重的两倍。weight_decay：卷积层的重要参数必须参数：num_output(c_o)：过滤器的个数kernel_size(orkernel_handkernel_w)：过滤器的大小可选参数：weight_filler[defaulttype:'constant'value:0]：参数的初始化方法bias_filler：偏置的初始化方法bias_term[defaulttrue]：指定是否是否开启偏置项pad(orpad_handpad_w)[default0]：指定在输入的每一边加上多少个像素stride(orstride_handstride_w)[default1]：指定过滤器的步长group(g)[default1]:Ifg>1,werestricttheconnectivityofeachfiltertoasubsetoftheinput.Specifically,theinputandoutputchannelsareseparatedintoggroups,andtheithoutputgroupchannelswillbeonlyconnectedtotheithinputgroupchannels.通过卷积后的大小变化：输入：n*c_i*h_i*w_i输出：n*c_o*h_o*w_o，其中h_o=(h_i+2*pad_h-kernel_h)/stride_h+1，w_o通过同样的方法计算。1.2池化层（Pooling）类型：POOLING例子layers{name:"pool1"type:POOLINGbottom:"conv1"top:"pool1"pooling_param{pool:MAXkernel_size:3#poolovera3x3regionstride:2#steptwopixels(inthebottomblob)betweenpoolingregions}}卷积层的重要参数必需参数：kernel_size(orkernel_handkernel_w)：过滤器的大小可选参数：pool[defaultMAX]：pooling的方法，目前有MAX,AVE,和STOCHASTIC三种方法pad(orpad_handpad_w)[default0]：指定在输入的每一遍加上多少个像素stride(orstride_handstride_w)[default1]：指定过滤器的步长通过池化后的大小变化：输入：n*c_i*h_i*w_i输出：n*c_o*h_o*w_o，其中h_o=(h_i+2*pad_h-kernel_h)/stride_h+1，w_o通过同样的方法计算。1.3LocalResponseNormalization(LRN)类型：LRNLocalResponseNormalization是对一个局部的输入区域进行的归一化（激活a被加一个归一化权重（分母部分）生成了新的激活b），有两种不同的形式，一种的输入区域为相邻的channels（crosschannelLRN），另一种是为同一个channel内的空间区域（withinchannelLRN）计算公式：对每一个输入除以可选参数：local_size[default5]：对于crosschannelLRN为需要求和的邻近channel的数量；对于withinchannelLRN为需要求和的空间区域的边长alpha[default1]：scaling参数beta[default5]：指数norm_region[defaultACROSS_CHANNELS]:选择哪种LRN的方法ACROSS_CHANNELS或者WITHIN_CHANNEL2.LossLayers深度学习是通过最小化输出和目标的Loss来驱动学习。2.1Softmax类型:SOFTMAX_LOSS2.2Sum-of-Squares/Euclidean类型:EUCLIDEAN_LOSS2.3Hinge/Margin类型:HINGE_LOSS例子：#L1Normlayers{name:"loss"type:HINGE_LOSSbottom:"pred"bottom:"label"}#L2Normlayers{name:"loss"type:HINGE_LOSSbottom:"pred"bottom:"label"top:"loss"hinge_loss_param{norm:L2}}可选参数：norm[defaultL1]:选择L1或者L2范数输入：n*c*h*wPredictionsn*1*1*1Labels输出1*1*1*1ComputedLoss2.4SigmoidCross-Entropy类型：SIGMOID_CROSS_ENTROPY_LOSS2.5Infogain类型：INFOGAIN_LOSS2.6AccuracyandTop-k类型：ACCURACY用来计算输出和目标的正确率，事实上这不是一个loss，而且没有backward这一步。3.激励层（Activation/NeuronLayers）一般来说，激励层是element-wise的操作，输入和输出的大小相同，一般情况下就是一个非线性函数。3.1ReLU/Rectified-LinearandLeaky-ReLU类型:RELU例子:layers{name:"relu1"type:RELUbottom:"conv1"top:"conv1"}可选参数：negative_slope[default0]:指定输入值小于零时的输出。ReLU是目前使用做多的激励函数，主要因为其收敛更快，并且能保持同样效果。标准的ReLU函数为max(x,0)，而一般为当x>0时输出x，但x<=0时输出negative_slope。RELU层支持in-place计算，这意味着bottom的输出和输入相同以避免内存的消耗。