在這篇文章中，我們將比較深度學(xué)習(xí)與傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)。在這樣做的過程中，我們將找出兩種技術(shù)的優(yōu)點(diǎn)和缺點(diǎn)，以及它們在哪里，如何獲得最佳的使用。
深度學(xué)習(xí)>經(jīng)典機(jī)器學(xué)習(xí)
一流的表現(xiàn)：深度網(wǎng)絡(luò)已經(jīng)實(shí)現(xiàn)了遠(yuǎn)遠(yuǎn)超過傳統(tǒng)ML方法的精確度，包括語音、自然語言、視覺和玩游戲等許多領(lǐng)域。在許多任務(wù)中，經(jīng)典ML甚至無法競爭。例如，下圖顯示了ImageNet數(shù)據(jù)集上不同方法的圖像分類準(zhǔn)確性，藍(lán)色表示經(jīng)典ML方法，紅色表示深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法。
使用數(shù)據(jù)進(jìn)行有效縮放：與傳統(tǒng)ML算法相比，深度網(wǎng)絡(luò)使用更多的數(shù)據(jù)可以更好地?cái)U(kuò)展。下面的圖表是一個(gè)簡單而有效的例子。很多時(shí)候，通過深層網(wǎng)絡(luò)來提高準(zhǔn)確性的最佳建議就是使用更多的數(shù)據(jù)!使用經(jīng)典的ML算法，這種快速簡單的修復(fù)方法甚至幾乎沒有效果，并且通常需要更復(fù)雜的方法來提高準(zhǔn)確性。
不需要特征工程：經(jīng)典的ML算法通常需要復(fù)雜的特征工程。首先在數(shù)據(jù)集上執(zhí)行深度探索性數(shù)據(jù)分析，然后做一個(gè)簡單的降低維數(shù)的處理。最后，必須仔細(xì)選擇最佳功能以傳遞給ML算法。當(dāng)使用深度網(wǎng)絡(luò)時(shí)，不需要這樣做，因?yàn)橹恍鑼?shù)據(jù)直接傳遞到網(wǎng)絡(luò)，通常就可以實(shí)現(xiàn)良好的性能。這完全消除了整個(gè)過程的大型和具有挑戰(zhàn)性的特征工程階段。
適應(yīng)性強(qiáng)，易于轉(zhuǎn)換：與傳統(tǒng)的ML算法相比，深度學(xué)習(xí)技術(shù)可以更容易地適應(yīng)不同的領(lǐng)域和應(yīng)用。首先，遷移學(xué)習(xí)使得預(yù)先訓(xùn)練的深度網(wǎng)絡(luò)適用于同一領(lǐng)域內(nèi)的不同應(yīng)用程序是有效的。
例如，在計(jì)算機(jī)視覺中，預(yù)先訓(xùn)練的圖像分類網(wǎng)絡(luò)通常用作對象檢測和分割網(wǎng)絡(luò)的特征提取前端。將這些預(yù)先訓(xùn)練的網(wǎng)絡(luò)用作前端，可以減輕整個(gè)模型的訓(xùn)練，并且通常有助于在更短的時(shí)間內(nèi)實(shí)現(xiàn)更高的性能。此外，不同領(lǐng)域使用的深度學(xué)習(xí)的基本思想和技術(shù)往往是相當(dāng)可轉(zhuǎn)換的。
例如，一旦了解了語音識別領(lǐng)域的基礎(chǔ)深度學(xué)習(xí)理論，那么學(xué)習(xí)如何將深度網(wǎng)絡(luò)應(yīng)用于自然語言處理并不是太具有挑戰(zhàn)性，因?yàn)榛鶞?zhǔn)知識非常相似。對于經(jīng)典ML來說，情況并非如此，因?yàn)闃?gòu)建高性能ML模型需要特定領(lǐng)域和特定應(yīng)用的ML技術(shù)和特征工程。對于不同的領(lǐng)域和應(yīng)用而言，經(jīng)典ML的知識庫是非常不同的，并且通常需要在每個(gè)單獨(dú)的區(qū)域內(nèi)進(jìn)行廣泛的專業(yè)研究。
經(jīng)典機(jī)器學(xué)習(xí)>深度學(xué)習(xí)
對小數(shù)據(jù)更好：為了實(shí)現(xiàn)高性能，深層網(wǎng)絡(luò)需要非常大的數(shù)據(jù)集。之前提到的預(yù)先訓(xùn)練過的網(wǎng)絡(luò)在120萬張圖像上進(jìn)行了訓(xùn)練。對于許多應(yīng)用來說，這樣的大數(shù)據(jù)集并不容易獲得，并且花費(fèi)昂貴且耗時(shí)。對于較小的數(shù)據(jù)集，傳統(tǒng)的ML算法通常優(yōu)于深度網(wǎng)絡(luò)。
財(cái)務(wù)和計(jì)算都便宜：深度網(wǎng)絡(luò)需要高端GPU在大量數(shù)據(jù)的合理時(shí)間內(nèi)進(jìn)行訓(xùn)練。這些GPU非常昂貴，但是如果沒有他們訓(xùn)練深層網(wǎng)絡(luò)來實(shí)現(xiàn)高性能，這在實(shí)際上并不可行。要有效使用這樣的高端GPU，還需要快速的CPU、SSD存儲以及快速和大容量的RAM。傳統(tǒng)的ML算法只需要一個(gè)體面的CPU就可以訓(xùn)練得很好，而不需要最好的硬件。由于它們在計(jì)算上并不昂貴，因此可以更快地迭代，并在更短的時(shí)間內(nèi)嘗試許多不同的技術(shù)。
更容易理解：由于傳統(tǒng)ML中涉及直接特征工程，這些算法很容易解釋和理解。此外，調(diào)整超參數(shù)并更改模型設(shè)計(jì)更加簡單，因?yàn)槲覀儗?shù)據(jù)和底層算法都有了更全面的了解。另一方面，深層網(wǎng)絡(luò)是“黑匣子”型，即使現(xiàn)在研究人員也不能完全了解深層網(wǎng)絡(luò)的“內(nèi)部”。由于缺乏理論基礎(chǔ)、超參數(shù)和網(wǎng)絡(luò)設(shè)計(jì)也是一個(gè)相當(dāng)大的挑戰(zhàn)。
京公網(wǎng)安備 11010502049343號