重要性采樣

前言

離散型隨機(jī)變量$X$，我們可以通過以下方法求取其期望：

1. 直接計(jì)算法，需要知道概率分布：
   $$\mathbb{E}(X)=\sum _{x\in X}\left[p(x)?x\right]$$

2. 采樣計(jì)算，這時即使$X$概率分布未知，依據(jù)大數(shù)定律，當(dāng)采樣次數(shù)夠大時，仍然可以求取期望
   $$\mathbb{E}(X)=\frac{1}{n}\underset{n\to +\infty }{\lim }\sum _{i=0}^{n?1}{x}_i$$

連續(xù)型隨機(jī)變量$X$

1. 直接計(jì)算，需要$f$表達(dá)式

$$\mathbb{E}(X)={\int }_{x}x?f(x)dx$$

2. 抽樣(蒙特卡洛積分估計(jì))，這里不多做介紹

重要性采樣

思想：如果已知隨機(jī)變量$X～p_0$，在$p_0$下隨機(jī)采樣了一批數(shù)據(jù) { x i } ～ p 0 \{x_i\}\sim p_0 {xi?}～p0?，現(xiàn)在要求隨機(jī)變量$X～p_1$下的期望，則：
$${\mathbb{E}}_{X～p_1}[X]=\sum _x{p}_1(x)?x=\sum _x{p}_0(x)\frac{p_1(x)}{p_0(x)}?x={\mathbb{E}}_{X～p_0}[f(X)]$$
那么就有如下幾個問題：

1. 對于離散型隨機(jī)變量，為什么$p_1(x)$已知，不直接計(jì)算期望呢？

   • 因?yàn)橛袝r候我們已經(jīng)根據(jù)$p_0$采樣了一些數(shù)據(jù)，再用$p_1$重新采樣計(jì)算一遍，會增加很多計(jì)算量。
   • 因?yàn)橛行r候不方便對$p_1$采樣
   • 在強(qiáng)化學(xué)習(xí)中，我們根據(jù)一個策略采樣，通過重要性采樣可以求出另一個策略的期望，是一種On Policy向Off Policy轉(zhuǎn)換的思想。

2. 對于連續(xù)型隨機(jī)變量，為什么$p_1(x)$已知，不直接計(jì)算期望呢？

   理論上不可能完全求出概率密度函數(shù)，所以無法從理論上計(jì)算期望，只能估計(jì)。

   例如，如果我們通過神經(jīng)網(wǎng)絡(luò)來表示$f$，那么對任意的輸入$x$，我們都可以求出$f(x)$，但是這并不代表我們求出$f$的函數(shù)表達(dá)式，更無法進(jìn)一步求積分。我們只是能從數(shù)值上計(jì)算出$f(x)$，神經(jīng)網(wǎng)絡(luò)本身就是一個黑盒。

綜上所述，重要性采樣使得我們能夠從behavior policy采樣，然后去估計(jì)target policy的期望，從而使得On Policy的算法轉(zhuǎn)換為Off Policy