← 返回卷宗
數據預測

簡單看看MNIST訓練正確率統計

神經網絡
6-layer NN 784-2500-2000-1500-1000-500-10 (on GPU) [elastic distortions] none 0.35 Ciresan et al. Neural Computation 10, 2010 and arXiv 1003.0358, 2010
committee of 25 NN 784-800-10 [elastic distortions] width normalization, deslanting 0.39 Meier et al. ICDAR 2011

  人工神經網絡中,錯誤率最低分別是0.35與0.39,但是可以看出錯誤率達到0.39的,中間僅僅用了800個神經元作為一箇中間層,而0.35雖然結果更優,但是中間使用了6層結構,然後花費了2500、2000、1500、1000、500個神經元作為中間層,這個運算量極其恐怖,一般的電腦很難計算。所以相對來說,只用了800個神經元進行了width normalization及deslanting處理的數據,達到了0.39的成績,似乎這個比較有實用價值。

  normalizationy是正則化,而deslanting則是指將圖片進行加反抗鋸齒化,類似於在上面加噪點,或者應該叫毛邊化或鋸齒化。至於對原圖進行elastic distortions,這個是再理所當然不過的事了,這個能增強網絡的泛化能力。

large conv. net, unsup pretraining [elastic distortions] none 0.39 Ranzato et al., NIPS 2006
large conv. net, unsup pretraining [no distortions] none 0.53 Jarrett et al., ICCV 2009
large/deep conv. net, 1-20-40-60-80-100-120-120-10 [elastic distortions] none 0.35 Ciresan et al. IJCAI 2011
committee of 7 conv. net, 1-20-P-40-P-150-10 [elastic distortions] width normalization 0.27 +-0.02 Ciresan et al. ICDAR 2011
committee of 35 conv. net, 1-20-P-40-P-150-10 [elastic distortions] width normalization 0.23 Ciresan et al. CVPR 2012

  卷積神經網絡的效果好得很誇張,上面可以看到,在不進行elastic distortions時,也能取得0.53的成績,而在加入width normalization後,最好的成績達到了0.23的錯誤率,準確率高得離譜,不過裡面用到了35個卷積,這個運算量同樣極大。

本文由 三符道長 撰於 2015年5月12日。轉載請註明出處。