1、深度學(xué)習(xí)發(fā)展現(xiàn)狀深度學(xué)習(xí)發(fā)展現(xiàn)狀1深度學(xué)習(xí)發(fā)展現(xiàn)狀深度學(xué)習(xí)發(fā)展現(xiàn)狀王宇航(北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，北京，100044)摘要摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)。近年來，隨著深度學(xué)習(xí)逐漸收到各界的廣泛關(guān)注，其在各個(gè)尖端領(lǐng)域的作用也越來越大，深度學(xué)習(xí)已經(jīng)在諸多領(lǐng)域取得客觀的成就。本文簡要介紹深度學(xué)習(xí)的基本理論及思想，著重介紹了近年來深度學(xué)習(xí)在各個(gè)領(lǐng)

2、域的應(yīng)用及其發(fā)展關(guān)鍵字關(guān)鍵字：深度學(xué)習(xí)；機(jī)器學(xué)習(xí)；人工智能；無監(jiān)督學(xué)習(xí)1引言引言2011年，斯坦福人工智能實(shí)驗(yàn)室主任吳恩達(dá)領(lǐng)導(dǎo)Google的科學(xué)家們，用16000臺(tái)電腦模擬了一個(gè)模擬人腦神經(jīng)網(wǎng)絡(luò)出來，并向這個(gè)網(wǎng)絡(luò)展示了1000萬段隨機(jī)從YouTube上選取的視頻，看看它能學(xué)會(huì)什么結(jié)果在完全沒有外界干涉的條件下，它自己識(shí)別出了貓臉我們要注意的是，這種機(jī)器學(xué)習(xí)與我們通常意義上說的“機(jī)器識(shí)別”有所不同現(xiàn)有的很多此類識(shí)別，需要人工輸入一些用于對(duì)

3、比的數(shù)據(jù)，或者一些已經(jīng)進(jìn)行初步分類、打好標(biāo)簽的數(shù)據(jù)，機(jī)器通過學(xué)習(xí)這些數(shù)據(jù)的共同點(diǎn)，得出規(guī)律，然后再去將規(guī)律應(yīng)用于更大規(guī)模的數(shù)據(jù)中粗略地說，這是一種“有監(jiān)督的學(xué)習(xí)”，需要人工輸入初始數(shù)據(jù)，有時(shí)候還要對(duì)識(shí)別結(jié)果進(jìn)行判斷，由此促進(jìn)機(jī)器的學(xué)習(xí)速度而深度學(xué)習(xí)是一種“無監(jiān)督的學(xué)習(xí)”它基于一種學(xué)術(shù)假設(shè)：即人類對(duì)外界環(huán)境的了解過程最終可以歸結(jié)為一種單一算法，而人腦的神經(jīng)元可以通過這種算法，分化出識(shí)別不同物體的能力這個(gè)識(shí)別過程甚至完全不需要外界干預(yù)還是以

4、識(shí)別貓臉為例：吳恩達(dá)給神經(jīng)網(wǎng)絡(luò)輸入了一個(gè)單詞“cat”，這個(gè)神經(jīng)網(wǎng)絡(luò)中并沒有辭典，不了解這個(gè)單詞的含義但在觀看了一千萬段視頻，它最終確定，cat就是那種毛茸茸的小動(dòng)物這個(gè)學(xué)習(xí)過程，與一個(gè)不懂英語的人，在沒任何人教他的時(shí)候，通過獨(dú)立觀察學(xué)會(huì)“cat”的過程幾乎一致上述事例是深度學(xué)習(xí)發(fā)展中具有里程碑性質(zhì)的事件，通過以上事件意在形象的向讀者說明深度學(xué)習(xí)的基本思想本文意在向讀者介紹近年來深度學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用及其發(fā)展深度學(xué)習(xí)發(fā)展現(xiàn)狀深度學(xué)習(xí)發(fā)

5、展現(xiàn)狀3學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從2006年

6、以來，大量的關(guān)于深度學(xué)習(xí)的論文被發(fā)表。3深度學(xué)習(xí)的應(yīng)用現(xiàn)狀及發(fā)展深度學(xué)習(xí)的應(yīng)用現(xiàn)狀及發(fā)展3.1深度學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用概述深度學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用概述自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫，美國，加拿大，歐洲相繼成為此領(lǐng)域的科研重鎮(zhèn)。2010年美國國防部先進(jìn)研究項(xiàng)目局首次資助深度學(xué)習(xí)，參與方包括斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院等機(jī)構(gòu)。2011年，微軟語音識(shí)別采用深度學(xué)習(xí)技術(shù)降低語音識(shí)別錯(cuò)誤率2030%，是該領(lǐng)域十多年來最大的突

7、破性進(jìn)展。2012是深度學(xué)習(xí)研究和應(yīng)用爆發(fā)的一年，深度學(xué)習(xí)被應(yīng)用于著名生物制藥公司黙克的分子藥性預(yù)測(cè)問題，從各類分子中學(xué)習(xí)發(fā)現(xiàn)那些可能成為藥物的分子獲得世界最好效果；谷歌的GoogleBrain項(xiàng)目用16000個(gè)處理器的服務(wù)器集群構(gòu)建了一套超過10億個(gè)節(jié)點(diǎn)的具備自主學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)，能自動(dòng)從輸入的大量數(shù)據(jù)中歸納出概念體系，圖片搜索、無人駕駛汽車和GoogleGlass都將會(huì)從中受益。6月，Google公司的深度學(xué)習(xí)系統(tǒng)在識(shí)別物體的精確

8、度上比上一代系統(tǒng)提高了一倍，并且大幅度削減了roid系統(tǒng)語音識(shí)別系統(tǒng)的錯(cuò)誤率。百度引入深度學(xué)習(xí)以后，語音識(shí)別效果的提升超過了以往業(yè)界在過去15年里所取得的成績。12月，微軟亞洲研究院展示了中英即時(shí)口譯系統(tǒng)，錯(cuò)誤率僅為7%，而且發(fā)音十分順暢。2013年，歐洲委員會(huì)發(fā)起模仿人腦的超級(jí)計(jì)算機(jī)項(xiàng)目，計(jì)劃歷時(shí)10年投入16億美元，由全球80個(gè)機(jī)構(gòu)的超過200名研究人員共同參與，希望在理解人類大腦工作方式上取得重大進(jìn)展，并推動(dòng)更多能力強(qiáng)大的新型計(jì)算