<<What is the Best Muti-Stage Architecture for object Recognition>>
一篇比较老的文章，主要描述了目标识别常用模型的layer组成，通过在Caltech-101、NORB、MNIST等数据集上的测试实验体现了non-linearities、Random Filter /hard-wired Filter、监督 / 非监督训练方法、单层特征提取结构 / 两层特征提取结构对于识别精度的影响。具体内容如下：
首先，作者提出了三个问题：
1、滤波层后的non-linearities对识别精度有何影响？
2、用监督或非监督学习方法能否提升Random Filter /hard-wired Filter的效果？
3、两层特征提取结构效果是否要比单层特征提取结构效果好？
然后简单介绍了模型的几个常用Layer：
Layer1、滤波层Filter Bank Layer- Fcsg：
这一部分包含了三个部分，即C：卷积滤波器，S：非线性变化函数（sigmoid/tanh），G：增益系数，总体表达为：
这里文章里计算filter size的时候好像是一处笔误，应该是m2 = n2 - l1 + 1吧~
Layer2、校正层Retification Layer - Rabs：
这里用的是绝对值运算，作者表示也尝试过其他的非线性方法，结果差不多。
Layer3、局部对比度归一化层Local Contrast Normalization Layer - N：
用于增加同一特征图上临近特征的局部竞争以及不同特征图上同一位置上的局部竞争，包括Subtractive normalization和Divise normalization两个部分。
Subtractive normalization：对于每个像素点用一个总权值为1的高斯加权窗处理，即，这一部分体现了同一特征图上临近特征的竞争
Divise normalization：，其中，c为实验中的均值，这个部分应该是体现了不同特征图上的竞争
Layer4、池化层Pooling Layer - PA、PM：
实现对特征图的下采样，output可定义为输出的均值或最大值。
以上四个层的不同组合构成了不同的模型结构，用以分析问题一中non-linearities对识别精度的影响。
为了分析问题二，作者定义了四种不同的训练协议：
R：采用Random Filter，滤波器系数固定；
U：采用非监督PSD算法建立滤波器，滤波器系数固定；
R+：采用Random Filter，用监督学习方法修正滤波器系数；
U+：采用非监督PSD算法建立滤波器，用监督学习方法修正滤波器系数；
RR、UU、R+R+、U+U+即为重复应用单层结构的双层结构
到此为止，验证问题的所有组件都已经定义好，可以构建不同的模型进行愉快的测试了。
上表是在每类包含30个samples的Caltech-101数据集上的测试结果，并得出以下结论：
1、在使用Radom Filter的Rabs-N-PA结构中，即使不运用监督修正方法，分类结果也还不错（decent result），无论是一层还是两层；
2、监督修正（supervised fine tuning）始终能提升效果（R->R+,U->U+）;
3、在Rabs-N-PA结构中，两层模型比一层模型效果好，但对于PA结构，两层模型比一层模型没有明显的提升，作者认为可能是因为池化层的cancellation effects（may be due to......）；
4、在Rabs-N-PA结构中，非监督方法预训练的Filter并没有比Random Filter效果好，但当去掉N层后，效果明显好于Random Filter；
5、Rabs层很关键，用PA而不用Rabs很危险，而采用PM池化的时候，不用Rabs还可以；
6、单层模型+PMK-SVM和两层模型+Logistics regression差不多；
7、Gabor函数产生的Filter比Random Filter还差。
作者又在样本更大的数据集NORB上进行了测试，结果如下：
给出了一系列基于Random Filter的测试结果，作者认为在更多样本的情况下，错误率依然很高，因此在更多样本的情况下，R的表现不如U（most likely not perform as U）。然而文中并没有给出关于U的测试结果，此处也没有相关引用文献，所以对于这个结论不是很能理解。
Conclusions：
在文章的最后，作者对于开始提出的三个问题给出了结论：
Q1:滤波层后的non-linearities对识别精度有何影响？
C1:Retification Layer是最重要的因素。可能因为a）特征的负数（polarity）与识别目标无关，b）Retification Layer会消除临近滤波器间的cancellations；
Q2:用监督或非监督学习方法能否提升Random Filter /hard-wired Filter的效果？
C2:unsupervised pre-training + supervised refinement效果最好，但没有比全监督结构效果好很多，Random Filter在Caltech-101上效果还不错可能是因为样本小。
Q3:两层特征提取结构效果是否要比单层特征提取结构效果好？
C3:两层模型比一层模型好，两层模型近似于一层模型+PMK-SVM的效果。
整篇文章读下来，感觉还是很有收获的，遗憾的是提到的许多事情都是may be...might be...seems to...likely，另外语言水平有限，有些地方还是模棱两可，望多多指教。
Ps. Lecun大神还有一篇<<Convolutional Networks and Applications in Vision>>，内容和这篇有些相似。
