似然與概率分別是針對不同內(nèi)容的估計和近似

概率

概率：概率表達給定參數(shù) $\theta$下樣本隨機向量$\text{X}=x$的可能性。

概率密度函數(shù)的定義形式是 $f(x|\theta )$，即概率密度函數(shù)是在"已知" θ 的情況下,去估計樣本隨機變量 x 出現(xiàn)的可能性.

似然

似然：給定樣本$\text{X}=x$下，參數(shù)$\theta ={\theta }_1$（相對于另外的參數(shù)取值）為真實值的可能性。
單獨的似然值沒有意義，似然值L是用來對比在各種θi下，哪種θi更接近與引發(fā)事件x的真實的“θ”

似然函數(shù)的形式是$L(\theta \mid x)$，其中"|"代表的是條件概率或者條件分布。似然函數(shù)是在已知 樣本隨機變量 $\text{X}=x$的情況下，估計 參數(shù)θ 的值，是參數(shù) θ 的函數(shù)。即改變θ，選擇到 X=x 的可能性在改變。

$L(\theta 1\mid x)>L(\theta 2\mid x)$：在參數(shù)θ1下取到 X=x 的可能性大于 在參數(shù)θ2下取到 X=x 的可能性，即參數(shù)θ1為真實參數(shù)的可能性大于參數(shù)θ2為真實參數(shù)的可能性。

注意一些概念的理解：

1. 樣本隨機變量的出現(xiàn)是基于某個分布的.例如$f(x|\theta )$代表x服從f 分布,而f 的分布是由參數(shù) θ 決定的。參數(shù)θ刻畫了隨機變量 X 在概率空間中服從什么分布。
2. 在概率統(tǒng)計學中$\text{X}$代表的是隨機變量,而小寫形式x通常代表其具體取值.

概率函數(shù)與似然函數(shù)的關系

在函數(shù)的結構上，概率函數(shù)與似然函數(shù)長的是一樣的，只是固定的值與自變量不同

$f(x|\theta )=L(\theta |x)$=由 x與θ 所構成的式子。

若X為離散的隨機樣本，可以將函數(shù)改寫為：
$f(x|\theta )=L(\theta |x)=P_{\theta }(X=x)$

似然與機器學習的關系

在機器學習中，之所以需要似然函數(shù)函數(shù)的概念，是因為我們往往是想要機器根據(jù)已有的數(shù)據(jù)學到相應的分布。即在訓練階段, 是根據(jù)已有的數(shù)據(jù) X 來估計其真實的數(shù)據(jù)分布服從什么樣的分布θ
而在測試階段, 就是已知參數(shù)θ, 來估計該分布下, X應該是什么.

最大似然估計

在模型訓練時，我希望找到參數(shù)θ，在這個參數(shù)下得到樣本X的可能性達到最大，即參數(shù)θ為真實值的可能性達到最大，把這個參數(shù)作為估計的真實值。

而這個參數(shù)是通過似然函數(shù)得到的。