1、相比于淺層網(wǎng)絡(luò)，深度網(wǎng)絡(luò)擁有更為有效的函數(shù)表征能力，可以為高度非線性且高度變化的函數(shù)學(xué)習(xí)到一種緊湊的表示。深度學(xué)習(xí)算法通過預(yù)訓(xùn)練和微調(diào)解決了深度網(wǎng)絡(luò)的訓(xùn)練問題，使得它擁有了優(yōu)秀的泛化能力，因而被廣泛地應(yīng)用于諸多領(lǐng)域。作為一種無監(jiān)督的特征檢測模型，自編碼器常常被用來完成預(yù)訓(xùn)練，從而能為深度網(wǎng)絡(luò)的訓(xùn)練尋得一個較好的初始值。本文主要研究自編碼器在深度網(wǎng)絡(luò)中的應(yīng)用，通過改善自編碼器的性能以及充分利用預(yù)訓(xùn)練過程中獲得的分層特征來提高深度網(wǎng)絡(luò)的分類

2、性能。
　　本文提出了基于平滑l1范數(shù)的稀疏自編碼器。從哺乳動物大腦視覺系統(tǒng)的感受野來看，為自編碼器引入稀疏性可以改善特征的性能。通常，自編碼器中稀疏性的產(chǎn)生來自于KL散度的引入，但稀疏表示理論認(rèn)為，l1范數(shù)能夠誘導(dǎo)出很好的稀疏性。為了解決l1范數(shù)在零點(diǎn)不可導(dǎo)的問題，我們使用“inf-conv”平滑技術(shù)得到了該范數(shù)的平滑版本。實(shí)驗(yàn)表明，使用基于平滑l1范數(shù)的稀疏自編碼器代替基于KL散度的稀疏自編碼器來完成預(yù)訓(xùn)練，可以得到分類性能更