![CCTV-17農(nóng)業(yè)農(nóng)村 | [中國(guó)三農(nóng)報(bào)道]中國(guó)科學(xué)院植被病蟲(chóng)害遙感監(jiān)測(cè)與預(yù)測(cè)系統(tǒng)升級(jí)版發(fā)布](/uploads/202208/630c32e37f65b.png)
深度學(xué)習(xí)有很好的表現(xiàn)，引領(lǐng)了第三次人工智能的浪潮。目前大部分表現(xiàn)優(yōu)異的應(yīng)用都用到了深度學(xué)習(xí)，大紅大紫的 AlphaGo 就使用到了深度學(xué)習(xí)。
本文將詳細(xì)的給大家介紹深度學(xué)習(xí)的基本概念、優(yōu)缺點(diǎn)和主流的4個(gè)典型算法。
深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、人工智能的關(guān)系
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能
簡(jiǎn)單來(lái)說(shuō)：
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支(最重要的分支)
機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支
目前表現(xiàn)最好的一些應(yīng)用大部分都是深度學(xué)習(xí)，正是因?yàn)樯疃葘W(xué)習(xí)的突出表現(xiàn)，引發(fā)了人工智能的第三次浪潮。詳情可以看《人工智能的發(fā)展史——3次 AI 浪潮》
深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)
深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，但是并不完全等于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。
不過(guò)在叫法上，很多深度學(xué)習(xí)算法中都會(huì)包含”神經(jīng)網(wǎng)絡(luò)”這個(gè)詞，比如：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。
所以，深度學(xué)習(xí)可以說(shuō)是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級(jí)，約等于神經(jīng)網(wǎng)絡(luò)。
大白話解釋深度學(xué)習(xí)
看了很多版本的解釋，發(fā)現(xiàn)李開(kāi)復(fù)在《人工智能》一書(shū)中講的是最容易理解的，所以下面直接引用他的解釋：
我們以識(shí)別圖片中的漢字為例。
假設(shè)深度學(xué)習(xí)要處理的信息是“水流”，而處理數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)是一個(gè)由管道和閥門組成的巨大水管網(wǎng)絡(luò)。網(wǎng)絡(luò)的入口是若干管道開(kāi)口，網(wǎng)絡(luò)的出口也是若干管道開(kāi)口。這個(gè)水管網(wǎng)絡(luò)有許多層，每一層由許多個(gè)可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)的需要，水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對(duì)復(fù)雜任務(wù)來(lái)說(shuō)，調(diào)節(jié)閥的總數(shù)可以成千上萬(wàn)甚至更多。水管網(wǎng)絡(luò)中，每一層的每個(gè)調(diào)節(jié)閥都通過(guò)水管與下一層的所有調(diào)節(jié)閥連接起來(lái)，組成一個(gè)從前到后，逐層完全連通的水流系統(tǒng)。
那么，計(jì)算機(jī)該如何使用這個(gè)龐大的水管網(wǎng)絡(luò)來(lái)學(xué)習(xí)識(shí)字呢？
比如，當(dāng)計(jì)算機(jī)看到一張寫有“田”字的圖片，就簡(jiǎn)單將組成這張圖片的所有數(shù)字（在計(jì)算機(jī)里，圖片的每個(gè)顏色點(diǎn)都是用“0”和“1”組成的數(shù)字來(lái)表示的）全都變成信息的水流，從入口灌進(jìn)水管網(wǎng)絡(luò)。
所以，深度學(xué)習(xí)可以說(shuō)是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級(jí)，約等于神經(jīng)網(wǎng)絡(luò)。
我們預(yù)先在水管網(wǎng)絡(luò)的每個(gè)出口都插一塊字牌，對(duì)應(yīng)于每一個(gè)我們想讓計(jì)算機(jī)認(rèn)識(shí)的漢字。這時(shí)，因?yàn)檩斎氲氖恰疤铩边@個(gè)漢字，等水流流過(guò)整個(gè)水管網(wǎng)絡(luò)，計(jì)算機(jī)就會(huì)跑到管道出口位置去看一看，是不是標(biāo)記由“田”字的管道出口流出來(lái)的水流最多。如果是這樣，就說(shuō)明這個(gè)管道網(wǎng)絡(luò)符合要求。如果不是這樣，就調(diào)節(jié)水管網(wǎng)絡(luò)里的每一個(gè)流量調(diào)節(jié)閥，讓“田”字出口“流出”的水最多。
這下，計(jì)算機(jī)要忙一陣了，要調(diào)節(jié)那么多閥門！好在計(jì)算機(jī)的速度快，暴力的計(jì)算加上算法的優(yōu)化，總是可以很快給出一個(gè)解決方案，調(diào)好所有閥門，讓出口處的流量符合要求。
下一步，學(xué)習(xí)“申”字時(shí)，我們就用類似的方法，把每一張寫有“申”字的圖片變成一大堆數(shù)字組成的水流，灌進(jìn)水管網(wǎng)絡(luò)，看一看，是不是寫有“申”字的那個(gè)管道出口流水最多，如果不是，我們還得再調(diào)整所有的閥門。這一次，要既保證剛才學(xué)過(guò)的“田”字不受影響，也要保證新的“申”字可以被正確處理。
如此反復(fù)進(jìn)行，知道所有漢字對(duì)應(yīng)的水流都可以按照期望的方式流過(guò)整個(gè)水管網(wǎng)絡(luò)。這時(shí)，我們就說(shuō)，這個(gè)水管網(wǎng)絡(luò)是一個(gè)訓(xùn)練好的深度學(xué)習(xí)模型了。當(dāng)大量漢字被這個(gè)管道網(wǎng)絡(luò)處理，所有閥門都調(diào)節(jié)到位后，整套水管網(wǎng)絡(luò)就可以用來(lái)識(shí)別漢字了。這時(shí)，我們可以把調(diào)節(jié)好的所有閥門都“焊死”，靜候新的水流到來(lái)。
與訓(xùn)練時(shí)做的事情類似，未知的圖片會(huì)被計(jì)算機(jī)轉(zhuǎn)變成數(shù)據(jù)的水流，灌入訓(xùn)練好的水管網(wǎng)絡(luò)。這時(shí)，計(jì)算機(jī)只要觀察一下，哪個(gè)出水口流出來(lái)的水流最多，這張圖片寫的就是哪個(gè)字。
深度學(xué)習(xí)大致就是這么一個(gè)用人類的數(shù)學(xué)知識(shí)與計(jì)算機(jī)算法構(gòu)建起來(lái)的整體架構(gòu)，再結(jié)合盡可能多的訓(xùn)練數(shù)據(jù)以及計(jì)算機(jī)的大規(guī)模運(yùn)算能力去調(diào)節(jié)內(nèi)部參數(shù)，盡可能逼近問(wèn)題目標(biāo)的半理論、半經(jīng)驗(yàn)的建模方式。
傳統(tǒng)機(jī)器學(xué)習(xí) VS 深度學(xué)習(xí)
傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的相似點(diǎn)
在數(shù)據(jù)準(zhǔn)備和預(yù)處理方面，兩者是很相似的。
他們都可能對(duì)數(shù)據(jù)進(jìn)行一些操作：
數(shù)據(jù)清洗
數(shù)據(jù)標(biāo)簽
歸一化
去噪
降維
對(duì)于數(shù)據(jù)預(yù)處理感興趣的可以看看《AI 數(shù)據(jù)集最常見(jiàn)的6大問(wèn)題（附解決方案）》
傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的核心區(qū)別
傳統(tǒng)機(jī)器學(xué)習(xí)的特征提取主要依賴人工，針對(duì)特定簡(jiǎn)單任務(wù)的時(shí)候人工提取特征會(huì)簡(jiǎn)單有效，但是并不能通用。
深度學(xué)習(xí)的特征提取并不依靠人工，而是機(jī)器自動(dòng)提取的。這也是為什么大家都說(shuō)深度學(xué)習(xí)的可解釋性很差，因?yàn)橛袝r(shí)候深度學(xué)習(xí)雖然能有好的表現(xiàn)，但是我們并不知道他的原理是什么。
深度學(xué)習(xí)的優(yōu)缺點(diǎn)
優(yōu)點(diǎn)1：學(xué)習(xí)能力強(qiáng)
從結(jié)果來(lái)看，深度學(xué)習(xí)的表現(xiàn)非常好，他的學(xué)習(xí)能力非常強(qiáng)。
優(yōu)點(diǎn)2：覆蓋范圍廣，適應(yīng)性好
深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)很多，寬度很廣，理論上可以映射到任意函數(shù)，所以能解決很復(fù)雜的問(wèn)題。
優(yōu)點(diǎn)3：數(shù)據(jù)驅(qū)動(dòng)，上限高
深度學(xué)習(xí)高度依賴數(shù)據(jù)，數(shù)據(jù)量越大，他的表現(xiàn)就越好。在圖像識(shí)別、面部識(shí)別、NLP 等部分任務(wù)甚至已經(jīng)超過(guò)了人類的表現(xiàn)。同時(shí)還可以通過(guò)調(diào)參進(jìn)一步提高他的上限。
優(yōu)點(diǎn)4：可移植性好
由于深度學(xué)習(xí)的優(yōu)異表現(xiàn)，有很多框架可以使用，例如 TensorFlow、Pytorch。這些框架可以兼容很多平臺(tái)。
缺點(diǎn)1：計(jì)算量大，便攜性差
深度學(xué)習(xí)需要大量的數(shù)據(jù)很大量的算力，所以成本很高。并且現(xiàn)在很多應(yīng)用還不適合在移動(dòng)設(shè)備上使用。目前已經(jīng)有很多公司和團(tuán)隊(duì)在研發(fā)針對(duì)便攜設(shè)備的芯片。這個(gè)問(wèn)題未來(lái)會(huì)得到解決。
缺點(diǎn)2：硬件需求高
深度學(xué)習(xí)對(duì)算力要求很高，普通的 CPU 已經(jīng)無(wú)法滿足深度學(xué)習(xí)的要求。主流的算力都是使用 GPU 和 TPU，所以對(duì)于硬件的要求很高，成本也很高。
缺點(diǎn)3：模型設(shè)計(jì)復(fù)雜
深度學(xué)習(xí)的模型設(shè)計(jì)非常復(fù)雜，需要投入大量的人力物力和時(shí)間來(lái)開(kāi)發(fā)新的算法和模型。大部分人只能使用現(xiàn)成的模型。
缺點(diǎn)4：沒(méi)有”人性”，容易存在偏見(jiàn)
由于深度學(xué)習(xí)依賴數(shù)據(jù)，并且可解釋性不高。在訓(xùn)練數(shù)據(jù)不平衡的情況下會(huì)出現(xiàn)性別歧視、種族歧視等問(wèn)題。
4種典型的深度學(xué)習(xí)算法
卷積神經(jīng)網(wǎng)絡(luò) - CNN
CNN 的價(jià)值：
能夠?qū)⒋髷?shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結(jié)果)
能夠保留圖片的特征，類似人類的視覺(jué)原理
CNN 的基本原理：
卷積層 – 主要作用是保留圖片的特征
池化層 – 主要作用是把數(shù)據(jù)降維，可以有效的避免過(guò)擬合
全連接層 – 根據(jù)不同任務(wù)輸出我們想要的結(jié)果
CNN 的實(shí)際應(yīng)用：
圖片分類、檢索
目標(biāo)定位檢測(cè)
目標(biāo)分割
人臉識(shí)別
骨骼識(shí)別
了解更多《一文看懂卷積神經(jīng)網(wǎng)絡(luò)-CNN（基本原理+獨(dú)特價(jià)值+實(shí)際應(yīng)用）》
循環(huán)神經(jīng)網(wǎng)絡(luò) - RNN
RNN 是一種能有效的處理序列數(shù)據(jù)的算法。比如：文章內(nèi)容、語(yǔ)音音頻、股票價(jià)格走勢(shì)…
之所以他能處理序列數(shù)據(jù)，是因?yàn)樵谛蛄兄星懊娴妮斎胍矔?huì)影響到后面的輸出，相當(dāng)于有了“記憶功能”。但是 RNN 存在嚴(yán)重的短期記憶問(wèn)題，長(zhǎng)期的數(shù)據(jù)影響很?。呐滤侵匾男畔ⅲ?。
于是基于 RNN 出現(xiàn)了 LSTM 和 GRU 等變種算法。這些變種算法主要有幾個(gè)特點(diǎn)：
長(zhǎng)期信息可以有效的保留
挑選重要信息保留，不重要的信息會(huì)選擇“遺忘”
RNN 幾個(gè)典型的應(yīng)用如下：
文本生成
語(yǔ)音識(shí)別
機(jī)器翻譯
生成圖像描述
視頻標(biāo)記
了解更多《一文看懂循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN（獨(dú)特價(jià)值+優(yōu)化算法+實(shí)際應(yīng)用）》
生成對(duì)抗網(wǎng)絡(luò) - GANs
假設(shè)一個(gè)城市治安混亂，很快，這個(gè)城市里就會(huì)出現(xiàn)無(wú)數(shù)的小偷。在這些小偷中，有的可能是盜竊高手，有的可能毫無(wú)技術(shù)可言。假如這個(gè)城市開(kāi)始整飭其治安，突然開(kāi)展一場(chǎng)打擊犯罪的「運(yùn)動(dòng)」，警察們開(kāi)始恢復(fù)城市中的巡邏，很快，一批「學(xué)藝不精」的小偷就被捉住了。之所以捉住的是那些沒(méi)有技術(shù)含量的小偷，是因?yàn)榫靷兊募夹g(shù)也不行了，在捉住一批低端小偷后，城市的治安水平變得怎樣倒還不好說(shuō)，但很明顯，城市里小偷們的平均水平已經(jīng)大大提高了。
警察們開(kāi)始繼續(xù)訓(xùn)練自己的破案技術(shù)，開(kāi)始抓住那些越來(lái)越狡猾的小偷。隨著這些職業(yè)慣犯?jìng)兊穆渚W(wǎng)，警察們也練就了特別的本事，他們能很快能從一群人中發(fā)現(xiàn)可疑人員，于是上前盤查，并最終逮捕嫌犯；小偷們的日子也不好過(guò)了，因?yàn)榫靷兊乃酱蟠筇岣撸绻€想以前那樣表現(xiàn)得鬼鬼祟祟，那么很快就會(huì)被警察捉住。為了避免被捕，小偷們努力表現(xiàn)得不那么「可疑」，而魔高一尺、道高一丈，警察也在不斷提高自己的水平，爭(zhēng)取將小偷和無(wú)辜的普通群眾區(qū)分開(kāi)。隨著警察和小偷之間的這種「交流」與「切磋」，小偷們都變得非常謹(jǐn)慎，他們有著極高的偷竊技巧，表現(xiàn)得跟普通群眾一模一樣，而警察們都練就了「火眼金睛」，一旦發(fā)現(xiàn)可疑人員，就能馬上發(fā)現(xiàn)并及時(shí)控制——最終，我們同時(shí)得到了最強(qiáng)的小偷和最強(qiáng)的警察。
了解更多《什么是生成對(duì)抗網(wǎng)絡(luò) - GAN？（基本概念+工作原理）》
深度強(qiáng)化學(xué)習(xí) - RL
強(qiáng)化學(xué)習(xí)算法的思路非常簡(jiǎn)單，以游戲?yàn)槔?，如果在游戲中采取某種策略可以取得較高的得分，那么就進(jìn)一步「強(qiáng)化」這種策略，以期繼續(xù)取得較好的結(jié)果。這種策略與日常生活中的各種「績(jī)效獎(jiǎng)勵(lì)」非常類似。我們平時(shí)也常常用這樣的策略來(lái)提高自己的游戲水平。
在 Flappy bird 這個(gè)游戲中，我們需要簡(jiǎn)單的點(diǎn)擊操作來(lái)控制小鳥(niǎo)，躲過(guò)各種水管，飛的越遠(yuǎn)越好，因?yàn)轱w的越遠(yuǎn)就能獲得更高的積分獎(jiǎng)勵(lì)。
這就是一個(gè)典型的強(qiáng)化學(xué)習(xí)場(chǎng)景：
機(jī)器有一個(gè)明確的小鳥(niǎo)角色——代理
需要控制小鳥(niǎo)飛的更遠(yuǎn)——目標(biāo)
整個(gè)游戲過(guò)程中需要躲避各種水管——環(huán)境
躲避水管的方法是讓小鳥(niǎo)用力飛一下——行動(dòng)
飛的越遠(yuǎn)，就會(huì)獲得越多的積分——獎(jiǎng)勵(lì)
你會(huì)發(fā)現(xiàn)，強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí) 最大的不同就是不需要大量的“數(shù)據(jù)喂養(yǎng)”。而是通過(guò)自己不停的嘗試來(lái)學(xué)會(huì)某些技能。
了解更多：《一文看懂什么是強(qiáng)化學(xué)習(xí)？（基本概念+應(yīng)用場(chǎng)景+主流算法）》
總結(jié)
深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的范疇，深度學(xué)習(xí)可以說(shuō)是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級(jí)，約等于神經(jīng)網(wǎng)絡(luò)。
深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)在數(shù)據(jù)預(yù)處理上都是類似的。核心差別在特征提取環(huán)節(jié)，深度學(xué)習(xí)由機(jī)器自己完成特征提取，不需要人工提取。
深度學(xué)習(xí)的優(yōu)點(diǎn)：
學(xué)習(xí)能力強(qiáng)
覆蓋范圍廣，適應(yīng)性好
數(shù)據(jù)驅(qū)動(dòng)，上限高
可移植性好
深度學(xué)習(xí)的缺點(diǎn)：
計(jì)算量大，便攜性差
硬件需求高
模型設(shè)計(jì)復(fù)雜
沒(méi)有”人性”，容易存在偏見(jiàn)
深度學(xué)習(xí)的4種典型算法：
卷積神經(jīng)網(wǎng)絡(luò) - CNN
循環(huán)神經(jīng)網(wǎng)絡(luò) - RNN
生成對(duì)抗網(wǎng)絡(luò) - GANs
深度強(qiáng)化學(xué)習(xí) - RL
文章來(lái)源于產(chǎn)品經(jīng)理的 AI 知識(shí)庫(kù)，作者easyAI
010-5289 6043