python 開發(fā)手機(jī)網(wǎng)站開發(fā)網(wǎng)頁制作軟件下載
在Machine Learning 這個領(lǐng)域,通常訓(xùn)練一個業(yè)務(wù)模型的難點并不在于算法的選擇,而在于前期的數(shù)據(jù)清理和特征工程這些紛繁復(fù)雜的工作,訓(xùn)練過程中的問題在于參數(shù)的反復(fù)迭代優(yōu)化。
AutoML 是 Azure Databricks 的一項功能,它自動的對數(shù)據(jù)進(jìn)行清理和特征工程并使用數(shù)據(jù)嘗試多種算法和參數(shù)來訓(xùn)練最佳機(jī)器學(xué)習(xí)模型。使用這種自動化模型訓(xùn)練可以滿足以下業(yè)務(wù)問題的模型訓(xùn)練:
1、分類問題:
AutoML可以用于解決二分類或多分類問題,如客戶流失預(yù)測、郵件是否為垃圾郵件的判斷等。
2、回歸問題:
在涉及連續(xù)數(shù)值預(yù)測的場景中,如銷售額預(yù)測、房價預(yù)測等,AutoML能夠提供有效的解決方案。
3、時間序列預(yù)測:
對于時間相關(guān)的數(shù)據(jù),如股票價格預(yù)測、需求預(yù)測等,AutoML可以通過時間序列分析提供預(yù)測。
下面來演示如何使用:
本教程需要Azure Data Bricks工作區(qū),啟動工作區(qū)方法,請參照下面鏈接:
想學(xué)習(xí)云計算么?教你如何免費(fèi)白嫖微軟和AWS的云資源一年-CSDN博客
利用 Azure Data Bricks的免費(fèi)資源學(xué)習(xí)云上大數(shù)據(jù)-CSDN博客
一、啟動Data Bricks SQL倉庫
在工作區(qū)的 Azure Databricks 門戶中,在邊欄的“SQL”下,選擇“SQL 倉庫”。
請注意,工作區(qū)已包含一個名為 Starter Warehouse 的 SQL 倉庫。
在 SQL 倉庫的“操作”菜單中,選擇“編輯”。然后,將“群集大小”屬性設(shè)置為“2X-Small”并保存更改。
使用“啟動”按鈕啟動 SQL 倉庫(這可能需要一兩分鐘)
二、上傳訓(xùn)練數(shù)據(jù)
1、將penguins.csv上傳到平臺中,如下圖:
?2、上傳之后如下圖:選擇“創(chuàng)建表格”按鈕
三、創(chuàng)建機(jī)器學(xué)習(xí)計算節(jié)點
創(chuàng)建機(jī)器學(xué)習(xí)計算節(jié)點,注意:需要選擇單一用戶,單節(jié)點,Runtime選擇ML 14.2ML Scala.2.12,spark3.5.0 ,不要選帶GPU的。如下圖:
創(chuàng)建成功之后的Cluster配置如下: 注意要去掉使用photon加速這個復(fù)選項,然后選擇“創(chuàng)建計算”
四、創(chuàng)建?AutoML試驗
如下圖:在DataBricks工作區(qū)中,選擇新建--》AutoML試驗
1、選擇上一步創(chuàng)建好的機(jī)器學(xué)習(xí)類型的集群:
2、ML問題類型:選擇“分類” 如下圖?
3、選擇訓(xùn)練用的數(shù)據(jù)如下圖:
4、其它參數(shù)配置如下圖:?
?
5、選擇 最下邊的?“啟動 AutoML”按鈕開始試驗
訓(xùn)練結(jié)束之后,如下圖:
?6、在“Species_penguins”頁中,選擇“查看筆記本的最佳模型”????????
?下面就是打開的筆記的最佳模型的全部訓(xùn)練腳本,可以基于這個最佳模型進(jìn)行修改優(yōu)化,或者重新訓(xùn)練。
?關(guān)閉包含筆記本的瀏覽器選項卡以返回到實驗頁面,在運(yùn)行列表中,選擇第一個運(yùn)行的名稱(生成最佳模型)以將其打開
五、在系統(tǒng)中注冊模型
選中訓(xùn)練的最佳模型之后,在右上角,選擇“注冊模型”按鈕,出現(xiàn)下面的界面:
在 Model Name 輸入庫,輸入模型名稱,然后選擇"注冊"
注冊成功之后,則在左側(cè)菜單欄的“模型” 選項中可以看到已經(jīng)注冊的模型
選擇 test-penguins 模型之后,顯示該模型的相關(guān)信息
- 在“test-penguins”頁面上,使用“使用模型進(jìn)行推理”按鈕,使用以下設(shè)置創(chuàng)建新的實時終端節(jié)點:
- 型號: Penguin-Classifier
- 型號版本:1
- 端點:classify-penguin
- 計算大小:小
創(chuàng)建終結(jié)點后,使用右上角的“查詢終結(jié)點”按鈕打開一個界面,您可以從中測試終結(jié)點。然后,在測試界面的“瀏覽器”選項卡上,輸入以下 JSON 請求,并使用“發(fā)送請求”按鈕調(diào)用終結(jié)點并生成預(yù)測。
{ "dataframe_records": [ { "Island": "Biscoe", "CulmenLength": 48.7, "CulmenDepth": 14.1, "FlipperLength": 210, "BodyMass": 4450 } ] }
自此,一個完整的AutoML的流程就跑完了,自動化機(jī)器學(xué)習(xí)可以幫助大家快速建立AI模型,其實門檻也沒那么高。