網監(jiān)大隊讓網站備案搜索引擎優(yōu)化方法與技巧
目錄
學習模式分為三大類:監(jiān)督,無監(jiān)督,強化學習
監(jiān)督學習基本問題
分類問題
回歸問題
無監(jiān)督學習基本問題
聚類問題
降維問題
強化學習基本問題
決策問題
如何選擇合適的算法
我們將涵蓋目前「五大」最常見機器學習任務:
-
回歸
-
分類
-
聚類
-
降維
-
決策
學習模式分為三大類:監(jiān)督,無監(jiān)督,強化學習
監(jiān)督學習基本問題
分類問題
-
分類是監(jiān)督學習的一個核心問題。
-
在監(jiān)督學習中,當輸出變量Y取有限個離散值時,預測問題變成為分類問題。
-
這時,輸入變量X可以是離散的,也可以是連續(xù)的。
-
監(jiān)督學習從數(shù)據(jù)中學習一個分類模型或分類決策函數(shù),稱為分類器(classifier)。
-
分類器對新的輸入進行輸出的預測,成為分類(classification)。
-
可能的輸出成為類別(class)。
-
分類的類別為多個時,稱為多分類問題。
分類問題包括學習和分類兩個過程,也就是訓練和測試的過程。在學習過程中,根據(jù)已知的訓練數(shù)據(jù)集利用有效的學習方法學習一個分類器;在分類過程中,利用學習的分類器對新的輸入實例進行分類。
分類問題可以通過下圖來描述。圖中是訓練數(shù)據(jù)集,學習系統(tǒng)由訓練數(shù)據(jù)學習一個分類器或;分類系統(tǒng)通過學到的分類器或對新的輸入實例進行分類,即預測其輸出的類標記。
分類問題
評價分類器性能的指標有分類精度(accuracy)、查準率(precision)和召回率(recall)等,
許多機器學習算法可以用于分類問題,包括k近鄰法、感知機、樸素貝葉斯、決策樹、邏輯斯蒂回歸、支持向量機、提升方法、貝葉斯網絡、神經網絡等等。
分類任務根據(jù)其特性將數(shù)據(jù)“分門別類”,所以在許多領域都有廣泛的應用。例如,在銀行業(yè)務中,可以構建一個客戶分類模型,對客戶按照貸款風險的大小進行分類;在網絡安全領域,可以利用日志數(shù)據(jù)的分類對非法入侵進行檢測;在圖像處理中,分類可以用來檢測圖像中是否有人臉出現(xiàn);在手寫識別中,分類可以用于識別手寫的數(shù)字;在互聯(lián)網搜索中,網頁的分類可以幫助網頁的抓取、索引與排序。
回歸問題
-
回歸(regression)是監(jiān)督學習的另一個重要問題。
-
回歸用于預測輸入變量(自變量)和輸出變量(因變量)之間的關系,特別是當輸入變量的值發(fā)生變化時,輸出變量的值隨之發(fā)生的變化。
-
回歸模型正是表示從輸入變量到輸出變量的之間映射的函數(shù)。
-
回歸問題的學習等價于函數(shù)擬合:選擇一條函數(shù)曲線使其很好地擬合已知數(shù)據(jù)且很好地預測未知數(shù)據(jù)。
回歸問題也分為學習和預測兩個過程。首先給定一個訓練數(shù)據(jù)集,其中是輸入,是對應的輸出,。學習系統(tǒng)基于訓練數(shù)據(jù)構建一個模型,即函數(shù);對新的輸入,預測系統(tǒng)根據(jù)學習的模型確定相應的輸出。
回歸問題按照輸入變量的個數(shù),分為一元回歸和多元回歸;按照輸入變量和輸出變量之間關系的類型即模型的類型,分為線性回歸和非線性回歸。
回歸學習最常用的損失函數(shù)是平方損失函數(shù)
許多領域的任務都可以形式化為回歸問題,比如,回歸可以用于商務領域,作為市場趨勢預測、產品質量管理、客戶滿意度調查、投資風險分析的工具。
無監(jiān)督學習基本問題
聚類問題
-
聚類(clustering)是將樣本集合中相似的樣本(實例)分配到相同的類,不相似的樣本分配到不同的類。
-
聚類時,樣本通常是歐式空間中的向量,類別不是事先給定,而是從數(shù)據(jù)中自動發(fā)現(xiàn),但個別的個數(shù)通常是實現(xiàn)給定的。
-
樣本之間的相似度或距離由應用決定。
-
如果一個樣本只能屬于一個類,則稱為硬聚類(hard clustering),如果一個樣本可以屬于多個類,則稱為軟聚類(soft clustering)。
-
聚類的過程就是學習聚類模型的過程。
降維問題
-
降維(dimensionality reduction)是將訓練數(shù)據(jù)中的樣本(實例)從高位空間轉換到低維空間。
-
假設樣本原本存在于低維空間,或者近似地存在于低維空間,通過降維則可以更好地表示樣本數(shù)據(jù)的結構,即更好地表示樣本之間的關系。
-
高維空間通常是高維的歐式空間,而低維空間是低維的歐式空間或者流形(manifold)。
-
低維空間不是事先給定的,而是從數(shù)據(jù)中自動發(fā)現(xiàn)的,其位數(shù)通常是事先給定的。
-
從高維到低維的降維中,要保證樣本中的信息損失最小。
-
降維有線性降維和非線性降維。
強化學習基本問題
決策問題
機器學習中的決策任務不同于分類、回歸、聚類和降維,是將待解決問題建模為馬爾科夫決策過程,然后利用強化學習求解的問題框架。強化學習的目標就是給定一個馬爾科夫決策過程,尋找到最優(yōu)策略。
下圖解釋了強化學習的基本原理。智能體在完成某項任務時,首先通過動作A與周圍環(huán)境進行交互,在動作A和環(huán)境的作用下,智能體會產生新的狀態(tài),同時環(huán)境會給出一個立即回報。如此循環(huán)下去,智能體與環(huán)境不斷地交互從而產生很多數(shù)據(jù)。強化學習算法利用產生的數(shù)據(jù)修改自身的動作策略,再與環(huán)境交互,產生新的數(shù)據(jù),并利用新的數(shù)據(jù)進一步改善自身的行為,經過數(shù)次迭代學習后,智能體最終學到完成相應任務的最優(yōu)動作(最優(yōu)策略)。
從強化學習的基本原理能看出它與其他機器學習算法如監(jiān)督學習和非監(jiān)督學習的一些基本差別。在監(jiān)督學習和非監(jiān)督學習中,數(shù)據(jù)是靜態(tài)的、不需要與環(huán)境進行交互,比如圖像識別,只要給出足夠的差異樣本,將數(shù)據(jù)輸入深度神經網絡中進行訓練即可。
然而,強化學習的學習過程是動態(tài)的、不斷交互的過程,所需要的數(shù)據(jù)也是通過與環(huán)境不斷交互所產生的。強化學習更像是人的學習過程,即與通過與周圍環(huán)境交互進行學習。
如何選擇合適的算法
你使用機器學習算法的目的,想要完成什么任務?比如是預測明天下雨的概率還是對投票者按照興趣分組;想要選擇合適的算法,必須考慮以下兩個問題:
首先考慮機器學習算法的目的。如果想要預測目標變量的值,則可以選擇監(jiān)督學習算法,否則可以選擇無監(jiān)督學習。確定選擇監(jiān)督學習算法后,需要進一步明確目標變量的類型,如果目標變量是離散型,則可以選擇分類算法;如果是連續(xù)型,則需要選擇回歸算法。
其次應該考慮實際的數(shù)據(jù)問題,應該充分了解數(shù)據(jù),對實際數(shù)據(jù)了解的越充分,越容易創(chuàng)建符合實際需要的應用程序。
主要應該了解數(shù)據(jù)的以下特征:
-
特征值是離散型變量還是連續(xù)型變量
-
特征值中是否有缺失的值,何種原因造成
-
數(shù)據(jù)中是否有異常值
-
某些特征發(fā)生的頻率如何
通過上面對數(shù)據(jù)的充分了解,可以幫助我們縮小算法的選擇范圍,一般并不存在最好的算法和可以給出最好效果的算法,一般發(fā)現(xiàn)最好算法的關鍵環(huán)節(jié)是反復試錯的迭代過程。