← 返回卷宗
本派符咒

亂談池化算法

池化深度學習

  在提取信息的時候,在池化的時候,如果取區域均值(mean-pooling),往往能保留整體數據的特徵,能凸出背景的信息,而如果取區域最大值(max-pooling),則能更好保留紋理上的特徵,但這些應該都不如小波變換那樣,可以保留更多的細節特徵,整體上也應該更加細微。

  在ICLR2013上,Zeiler提出了stochastic pooling,元素值大的被選中的概率也大,但不是像max-pooling那樣總是取最大值,這種方法的優勢是,一方面最大化保證了Max值的取值,一方面又部分確保不會所有元素都被max值給忽悠住,造成過度失真。

  這種方式想來還是有缺陷的,因為這種隨機行挑選儘管有概率傾向,但它是人為疊加上的,無法總是保證一定隨機的概率選擇中能夠選擇到更好的結果,所以也會出現更糟糕的結果的時候,不過加入概率算法好處是,它為產生更好的結果產生了可能,所以總的來說,還是有可能得到更好的結果的。

  假設目標總是容易被命中的,而有那麼個正態分佈與目標的分佈是近似重合的,如何保證這種分佈比較能吻合目標?平均值與最大值都會產生偏移,因為畢竟太暴力了,而概率算法加入無疑是比較理想的,能減少這種偏移的可能,如果運氣足夠好,收斂會非常好,那麼還有可能得到更加貼近的結果,於是這個又扯到了運氣上來了。

  只是,術數裡的收斂為何能那麼準確,這個從數學角度實在是難解,究竟是什麼沒有考慮到?目前有一種隱隱地思路,需要探索以術數的模型套上去,只是還是沒有找到橋梁在哪裡,第一是要找出,信息是如何演算並摺疊在卦中的,第二是要找出如何還能夠把信息進行還原。

  在嘗試計算了近十萬個圖形與隨機起卦之間的聯繫後,發現要建立這個聯繫,是極難完成的任務,製作自動編碼器運算到一定程度收斂越來越慢,隨便估計也是要花上個幾個月的(還不一定最後算得出來),想來還是思路有問題。

  路漫漫其修遠兮。

本文由 三符道長 撰於 2015年8月25日。轉載請註明出處。