什麼是深度學習?
深度學習是人工智慧(AI)的一部分,模仿大腦的神經網路從大量資料中學習,使機器能夠解決複雜的問題。
default
{}
default
{}
primary
default
{}
secondary
深度學習定義
深度學習是一種機器學習,可讓電腦以類似人腦的方式處理資訊。稱為「深度」是因為涉及多層的神經網路,有助於系統理解和解讀資料。這種技術可讓電腦辨識模式並管理複雜的任務,例如自動翻譯語言和駕駛汽車。與人類從經驗中學習的方式類似,這些系統透過分析大量資料,無須人為手動更新,即可隨著時間改善技能和準確性。
了解神經網路
從理論到感知器
在 1940 年代,神經科學家 Warren McCulloch 和數學家 Walter Pitts 合作建立了第一個人工神經網路概念。他們的目標是了解大腦如何從簡單的神經元二元反應產生複雜的思考模式,引入了神經元模型,並認為可以模仿大腦使用二元邏輯執行複雜計算的能力。
在 McCulloch 和 Pitts 開發的神經網路模型中,輸入行為就像神經元接收的電脈衝一樣。若某些輸入對特定結果較重要,則該模型會透過較大權重強調這些內容。當這些加權輸入超過特定層級時,神經元會啟用;若未超過,則維持關閉。此基本的開關機制可讓其模型模仿簡易的類腦決策流程,為深度學習演進奠定基礎。
在 1957 年,電腦科學家和心理學家 Frank Rosenblatt 所打造房間大小般機器 Mark I Perceptron 的問世,展示了首次人工神經元的實際應用。這個裝置使用光電池和人工神經網路來辨認和分類影像,證明了 McCulloch 和 Pitts 的理論。Rosenblatt 的感知器不僅確認機器學習可以運作,也為現今更精細的深度學習技術的發展奠定了基礎。
深度學習如何運作?
深度學習透過使用預測流程來決定哪些演算法在神經網路中最能夠成功產生符合人類期望的輸出。接著,網路會使用反向傳播來改善這些演算法,使其成功率有所改善。以下為範例:
想像你正在教導電腦識別不同的音樂類型。神經網路會分析數千個音樂檔案,逐步學習識別樂器演奏法、節奏和和弦進行等特徵。當做出一個預測時,就像識別一首曲子為搖滾歌曲一樣,然後判斷是否正確,使用一種稱為反向傳播的方法來調整其演算法。
這就像是從錯誤中學習。例如,如果電腦將古典鋼琴鳴奏曲誤認為搖滾歌曲,則可從這個錯誤中學習,改善未來預測中分辨古典歌曲和搖滾歌曲的能力。隨著時間的推移,這個過程使人工神經網絡能夠做出高度準確的預測,將其轉化為強大工具,涵蓋各種領域,從根據你喜歡的內容推薦電影到讓自動駕駛汽車解讀道路標誌和信號。
深入探索深度神經網路層
此清單說明深度神經網路的基本要素,以及運作的一般順序。然而,神經元、激勵函數和正規化技術不是孤立的步驟,而是在整個網絡及其學習過程中運作的功能。
- 輸入層
輸入層為網路的閘道,各神經元代表輸入資料的唯一特徵。此層的主要功能是接收原始資料,並將其傳遞至後續層進行進一步處理。
- 神經元(節點)
神經元或節點是神經網路的基本處理單位。每個神經元接收輸入、處理輸入(使用加權總和並套用激勵函數),並將輸出傳送至下一層。
- 激勵函數
這些函數就像神經網路中的決策者,協助決定學習的內容和要忽略的內容,並為網絡增添了一種靈活性,使其能夠掌握和學習複雜的模式。通用激勵函數包含 sigmoid、ReLU(整流線性單位)和 tanh。
- 權重和偏差
權重是網路內的參數,決定輸入資料對網路圖層內輸出的影響。除了權重,偏差確保激勵函數可產生非零輸出,強化網路有效激勵和學習的能力。
- 隱藏層
隱藏圖層位於輸入層和輸出層之間,會在神經網路中執行大量計算。之所以稱為「隱藏」因為不同於輸入和輸出,該層不會與外部環境互動。神經網路的複雜性和能力主要取決於隱藏層的數量和架構。
- 輸出層
這是神經網路中的最後一層。其會顯示結果,將隱藏層的資訊轉換為可解決現有工作的格式,例如分類、迴歸或其他類型的預測。
- 損失函數
損失函數或成本函數可量化預測輸出和實際輸出之間的差異。最小化此函數是訓練的目標,讓模型能夠更準確地預測。
- 優化演算法
這些演算法會微調模型,隨時間改善準確性。利用權重和偏差來減少預測期間的錯誤。一些流行的方法包括隨機梯度下降法、Adam 和 RMSprop。
- 反向傳播
由於深度學習演算法可協助模型從錯誤中學習並改善,因此相當重要。這會弄清模型權重變更對準確性的影響。接著,透過模型反向追蹤錯誤來調整這些設定,以便更佳進行預測。
- 正規化技術
模型通常學習過於密集訓練資料,導致在新資料上表現不佳(稱為過度擬合)。為了調整這個問題,L1 和 L2 正規化和批次正規化等技術用於微調權重大小,加快訓練流程。
- 批次正規化
這種技術將每層的輸入正規化,旨在提高神經網路的穩定性、效能和速度。這也有助於降低對初始權重的敏感度。
- 丟棄法
丟棄法是另一種正規化的方法,在訓練期間隨機忽略一組神經元。這會防止網路過於依賴任何單一神經元,進而減少過度擬合。
深度學習的常見應用
深度機器學習自感知器以來已有長足進展。企業現可在雲端上建立深度學習解決方案,而無須安裝房間大小的機器。現今深度神經網路處理複雜資料集的能力,使其在各種產業成為寶貴的工具,開啟了許多過去僅存於科幻的創新機會。
汽車業
深度學習可讓車輛解譯感測器資料以進行導航。同時還改進了駕駛輔助系統,提供危險檢測和防止碰撞等功能,在車輛設計和製造發揮重要作用。
企業營運
對話式 AI 聊天機器人和虛擬助理 Copilot 是熱門的企業深度學習應用。透過自動化人工作業、加速資料分析和決策,從而減少人為錯誤,更容易找到儲存在不同系統中的資訊。
金融業
深度學習技術支援的演算法交易會用於分析市場資料以取得預測洞察,並識別複雜模式以強化詐欺偵測。深度學習也有助於風險管理、評估信用風險和市場狀況,以制定更周全的決策。
醫療保健業
深度學習演算法可協助改善診斷準確性,並從醫學影像及早偵測腫瘤等異常。此外,也在藥物研發方面帶來機會,透過預測分子行為,促進新療法的發展。
製造業
預測性維護使用物聯網和深度學習來預測機器故障,並將停機時間降至最低。以大量影像資料集訓練的視覺檢驗系統,可透過識別瑕疵來強化品質控制。
媒體和娛樂業
娛樂業利用深度學習應用在串流平台上強化內容建議,並運用生成式 AI 幫助創作者開發逼真的 CGI 和創作音樂。此外,也可分析觀眾的偏好,協助建立者量身打造內容並預測未來趨勢。
零售業
深度學習透過個人化產品推薦,革新零售客戶體驗。此外,也使用預測分析來預測需求並優化庫存量,改善存貨管理。
供應鏈
物流營運正使用深度機器學習即時識別交通干擾,優化運送排程。深度學習也強化供需預測準確性,實現主動策略調整。
深度學習效益和挑戰
雖然深度學習的效益確實令人印象深刻,但這種技術的複雜性也帶來挑戰。由於深度學習解決方案需要大量的規劃和資源,因此在設計和部署這項技術之前,企業必須先建立明確定義的目標及值得信賴的 AI 實務。
- 影像和語音辨識等工作的準確率高
- 能夠處理和分析大量資料
- 隨著接觸更多資料,它會隨著時間的推移而改進
- 自動化功能萃取,減少手動介入的需求
- 實現服務和產品的個人化體驗
- 需要大型資料集以供訓練
- 運算密集型,需要強大的處理能力
- 可以是「黑箱」,難以理解模型的決策流程
- 當訓練資料有缺陷時,容易產生不公平的偏見
- 需要持續的資料和監控,以維持長期的效能
深度學習 vs. 機器學習 vs. AI
傳統機器學習和深度學習之間有一些關鍵差異:
機器學習仰賴人類手動識別和選擇對工作重要的資料特徵或特性,例如影像邊緣或文本中的特定字詞。這種訓練流程需要大量的專業知識和精力。
深度學習可讓機器自動判斷執行特定工作時最重要的資料特徵。這是透過透過神經網路的多層處理原始資料(例如影像中的像素)來完成。每層會將資料轉換為更抽象的形式,並在前一層的輸出上構建。隨著模型接收更多資料,因此會持續改善這些轉換以提高準確性和效能,隨著時間而變得更有效率。
AI vs. 深度學習 vs. 機器學習範例
若您不確定人工智慧、機器學習和深度學習之間的差異,您並不孤單。以下是關於自駕車輛的實際 AI vs. 深度學習範例:
AI 是賦予動駕駛車輛類似人類智慧和自主性的核心技術。其中包含機器學習和深度學習。
機器學習是 AI 的子類型,可讓自動駕駛系統從資料學習並改善,而無須為每個情境特別程式設計。
深度學習是機器學習的特殊子類型,可處理和解譯複雜的輸入,包含來自相機的視覺資料,即時感知環境。
深度學習 vs. 深度學習模型
「深度學習」和「深度學習模型」這兩個詞彙經常被互換使用,但兩者之間存在細微差別:
深度學習是指整個學科領域,包含了用來訓練人工神經網絡的理論、技術、演算法和流程。
深度學習模型是指已設計並訓練解決特定問題或執行特定工作的特定神經網路。各模型都是唯一的,根據特定資料、訓練和工作量身打造。模型的效能取決於:
- 訓練的程度如何,包括資料的品質和數量,以及其學習率。
- 所執行電腦基礎架構的設計和運算能力。
什麼是深度神經網路?
深度學習網路(通常稱為深度神經網路) 透過訓練調整神經連接,學習大型資料集的複雜模式。有幾種主要類型:人工神經網路、卷積神經網路、循環神經網路、生成式神經網路和自動編碼器。
深度神經網路類型
深度學習基礎架構需求
深度學習需要專門的運算和網路基礎架構,才能處理複雜的模型和大量資料集。在一般電腦硬體或網路上執行深度學習模型並不實際,因此許多組織採用企業 AI 平台以符合必要需求。以下是主要的基礎架構考量:
高效能的 GPU
深度學習基礎架構的骨幹是高性能圖形處理器(GPU)。GPU 最初是為了在電玩遊戲中渲染圖形而設計,具備處理功能,使其適合深度學習。同時執行多個運送的能力會大幅減少模型的訓練時間,使其成為現代 AI 研究和應用不可或缺的要素。
可擴展的儲存解決方案
模型可學習的資料越多,則效能越好。這帶來可擴展和快速儲存解決方案的需求,可處理 PB 級的資料,而不會在資料擷取時產生瓶頸。固態硬碟和分散式檔案系統通常用來滿足這些需求,提供與 GPU 計算速度保持同步的高速資料存取。
有效率的資料處理架構
架構和程式庫,例如 TensorFlow、PyTorch 和 Keras,透過提供預先建立的函數,簡化深度學習模型的開發,減少從頭開始編碼的需求。這些工具不僅可以加速開發過程,還能優化訓練和推論的運算效率,從而有效利用基礎硬體。
雲端運算平台
雲端運算平台在使深度學習廣泛普及中發揮著關鍵作用。這些平台可視需提供高效能計算資源的存取,免除大量前期投資實體硬體的需求。這些平台提供各種服務,包括 GPU 執行個體、可擴充的儲存空間和機器學習架構,讓個人和組織更容易建立和部署深度學習模型。
網路基礎架構
深度學習模型通常跨多個 GPU 甚至跨不同地理位置進行訓練,因此強大的網絡基礎架構至關重要。高頻寬連線能力可確保在分散式訓練設定中,有效傳輸節點間的資料和模型參數,減少延遲並優化訓練流程。
常見問題
- 卷積神經網路:一個熟悉的範例是智慧型手機的臉部解鎖功能。卷積神經網路分析來自相機輸入的臉部特徵,以驗證使用者的身份,允許安全且快速存取裝置。此程序包含從各種圖像學習網路,以精確識別並確認使用者的面貌。
- 循環神經網路:適合涉及序列的工作,例如預測句子中的下一個字詞。這使其非常適合智慧型手機上的預測文字等應用,網路會在您輸入的順序中學習以建議您可能輸入的下一個字詞。
- 自動編碼器:實際範例為影像壓縮,自動編碼器可減少影像大小以進行儲存或傳輸,並視需要還原至原始畫質。此流程有助於減少儲存影像所需的空間,同時維持其畫質。