中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

海淀做網(wǎng)站好的公司google免費入口

海淀做網(wǎng)站好的公司,google免費入口,網(wǎng)站建設(shè)的一般流程是,網(wǎng)站建設(shè)的基本原則機(jī)器學(xué)習(xí)算法詳解3:邏輯回歸 前言 ? 本系列主要對機(jī)器學(xué)習(xí)上算法的原理進(jìn)行解讀,給大家分享一下我的觀點和總結(jié)。 本篇前言 ? 本篇對邏輯回歸的算法原理進(jìn)行解讀。 目錄結(jié)構(gòu) 文章目錄 機(jī)器學(xué)習(xí)算法詳解3:邏輯回歸1. 引子2. sigmoid函數(shù)3. 原…

機(jī)器學(xué)習(xí)算法詳解3:邏輯回歸

前言

? 本系列主要對機(jī)器學(xué)習(xí)上算法的原理進(jìn)行解讀,給大家分享一下我的觀點和總結(jié)。

本篇前言

? 本篇對邏輯回歸的算法原理進(jìn)行解讀。

目錄結(jié)構(gòu)

文章目錄

    • 機(jī)器學(xué)習(xí)算法詳解3:邏輯回歸
      • 1. 引子
      • 2. sigmoid函數(shù)
      • 3. 原理推導(dǎo)
      • 4. 交叉熵?fù)p失函數(shù)推導(dǎo)
        • 4.1 信息熵
        • 4.2 KL散度
        • 4.3 交叉熵推導(dǎo)
        • 4.4 交叉熵?fù)p失函數(shù)推導(dǎo)
      • 5. 為什么選用sigmoid函數(shù)?
      • 6. 總結(jié)

1. 引子

? 在上一篇提及一個概念廣義線性回歸,而邏輯回歸也是與之相關(guān)。

? 假設(shè)我們有一個曲線,如下:

在這里插入圖片描述

? 假設(shè)它的表達(dá)式為y=wx,其中y的值是符合lnx的分布的。那么,可以進(jìn)行線性映射lny = wx ,變?yōu)?code>y=e^(wx),即真正的表達(dá)式y=e^(wx)可以變?yōu)樽畛醯膹V義線性形式y=wx(只是此處的y符合lnx分布而已)。

? 換而言之,我們可以將e^(wx)看作是一個普通的ax,那么邏輯回歸就是將這個普通的ax作為某個函數(shù)的輸入,讓函數(shù)的輸出在[0,1]之間,相當(dāng)于輸出的是概率值,就成了。

2. sigmoid函數(shù)

? 上面提及某函數(shù),那么選擇什么樣的函數(shù)呢?

? 首先,函數(shù)必須滿足的要求是:輸出值在[0,1]之間。滿足這個要求的函數(shù)非常多,比如符號函數(shù):

在這里插入圖片描述

? 但是,這個函數(shù)有一個重要缺點:不是連續(xù)可導(dǎo)的(在x=0這個點)。這樣會導(dǎo)致我們在優(yōu)化損失函數(shù)的時候,無法直接求導(dǎo),需要分情況進(jìn)行求導(dǎo)。其次,這個函數(shù)有個小缺點:太僵硬了,只能取1、0這兩個值。

? 針對上述情況,我們提出這個函數(shù)要滿足的新要求:連續(xù)可導(dǎo),最好是光滑曲線

? 那么,前人們找到一個函數(shù),名為 sigmoid函數(shù),公式如下:

在這里插入圖片描述

? 函數(shù)圖像如下:

在這里插入圖片描述

? 并且,值得注意的一點是,sigmoid函數(shù)的導(dǎo)數(shù)非常特殊,其倒數(shù)公式如下:
在這里插入圖片描述

3. 原理推導(dǎo)

? 基本的導(dǎo)數(shù)求法,非常的簡單。

在這里插入圖片描述

4. 交叉熵?fù)p失函數(shù)推導(dǎo)

4.1 信息熵

? 要對交叉熵進(jìn)行推導(dǎo),首先需要明白什么是信息熵。(本來應(yīng)該在決策樹那里講的)

? 熵,大家應(yīng)該都明白,就是描述一個系統(tǒng)的混亂程度。那么信息熵,就相當(dāng)于描述一個信息的有用程度。

? 公式如下:

在這里插入圖片描述

4.2 KL散度

? 有時候也稱之為KL距離,但是其實并不是真正的距離,因為不符合距離的對稱性質(zhì)。

? 其衡量兩個分布P、Q的相似程度,公式如下:

在這里插入圖片描述

? 舉個計算的例子:

在這里插入圖片描述

4.3 交叉熵推導(dǎo)

在這里插入圖片描述

4.4 交叉熵?fù)p失函數(shù)推導(dǎo)

? 該損失函數(shù)的推導(dǎo)可以從三個角度入手,分別是sigmoid入手、極大似然估計入手和KL散度入手。這里我接受最后一種推導(dǎo)。

? 邏輯回歸損失函數(shù)即衡量真實分布和預(yù)測分布的相似性——即KL散度,那么推導(dǎo)過程和上面相似,只是把P and Q換為了y and y^,通過上面可以知道最后的KL散度與交叉熵的值正相關(guān),因此我們可以通過交叉熵構(gòu)建出損失函數(shù)來代替KL散度以衡量真實分布和預(yù)測分布的相似程度,即公式:(下面分為兩個部分是因為一個為正樣本、一個為負(fù)樣本而已)

在這里插入圖片描述

5. 為什么選用sigmoid函數(shù)?

? 這個問題也可以這么問:sigmoid函數(shù)怎么推出來的?這個是我偶然看視頻發(fā)現(xiàn)的,我個人覺得有一定的道理,所以在這里分享一下:

? 對于真實大數(shù)據(jù)場景,數(shù)據(jù)的每個特征基本都符合正太分布,并且一般標(biāo)準(zhǔn)差相同而均值不同(感覺上是對的,但是沒有證明),那么如下圖推導(dǎo)過程:

在這里插入圖片描述

6. 總結(jié)

? 本篇講解了邏輯回歸的原理,邏輯回歸主要應(yīng)用于二分類任務(wù),也是分類任務(wù)中常用的一個算法。

? 下一篇,講解支持向量機(jī)算法。

http://www.risenshineclean.com/news/53640.html

相關(guān)文章:

  • 自己如何做團(tuán)購網(wǎng)站信息流廣告素材網(wǎng)站
  • 網(wǎng)站制作服務(wù)合同寧波seo整站優(yōu)化軟件
  • wordpress做論壇網(wǎng)站全域seo
  • 有經(jīng)驗的順德網(wǎng)站建設(shè)成人職業(yè)技能培訓(xùn)班
  • 大網(wǎng)站制作公司成都培訓(xùn)機(jī)構(gòu)排名前十
  • 萊蕪網(wǎng)站建設(shè)電話長沙網(wǎng)站制作策劃
  • 貴州省住房和城鄉(xiāng)建設(shè)廳網(wǎng)站官網(wǎng)企業(yè)文化
  • 南通做外貿(mào)的公司網(wǎng)站seo怎么弄
  • 介紹好的電影網(wǎng)站模板下載優(yōu)化排名seo
  • 做網(wǎng)站換服務(wù)器怎么整免費個人主頁網(wǎng)站
  • 北京國互網(wǎng)網(wǎng)站建設(shè)電話標(biāo)題seo是什么意思
  • 山東今天新冠疫情最新消息新鄉(xiāng)seo網(wǎng)絡(luò)推廣費用
  • 推廣網(wǎng)站的軟件網(wǎng)頁查詢
  • 杭州的網(wǎng)站建設(shè)公司有哪些百度搜索熱度指數(shù)
  • 響應(yīng)式網(wǎng)站開發(fā)步驟商鋪營銷推廣方案
  • 公司做網(wǎng)站費用外貿(mào)網(wǎng)站建站和推廣
  • 什么是網(wǎng)站微商城的建設(shè)seo建站教學(xué)
  • 騰訊官方網(wǎng)站網(wǎng)絡(luò)營銷成功案例
  • 北京旅游設(shè)計網(wǎng)站建設(shè)網(wǎng)站優(yōu)化推廣seo公司
  • 商城手機(jī)網(wǎng)站制作口碑營銷有哪些
  • 網(wǎng)站建設(shè)銀行卡死期存款提前取出百度學(xué)術(shù)論文查重免費檢測
  • 深圳網(wǎng)站制作公司訊息站長統(tǒng)計幸福寶下載
  • 萊蕪高新區(qū)管委會網(wǎng)站求職seo服務(wù)
  • 蘇州企業(yè)網(wǎng)站優(yōu)化成都新一輪疫情
  • 網(wǎng)站建設(shè)費賬務(wù)處理英雄聯(lián)盟世界排名
  • 企業(yè)網(wǎng)站建站寧波seo公司
  • 做蛋糕招聘網(wǎng)站域名申請
  • 響應(yīng)式網(wǎng)站建設(shè)平臺鄭州網(wǎng)絡(luò)推廣平臺
  • 建設(shè)網(wǎng)站的技術(shù)手段優(yōu)化大師有必要花錢嗎
  • 做裝修的業(yè)務(wù)網(wǎng)站網(wǎng)絡(luò)營銷常用的工具有哪些