做品牌的人常用的網(wǎng)站百度查詢
許多組合優(yōu)化問題可以被轉(zhuǎn)換為集合函數(shù)的最小化,集合函數(shù)是在給定基集合的子集的集合上定義的函數(shù)。同樣地,它們可以被定義為超立方體的頂點(diǎn)上的函數(shù),即
,其中
是基集合
的基數(shù)-它們通常被稱為偽布爾函數(shù)[27]。在這些集合函數(shù)中,次模函數(shù)起著重要的作用,類似于向量空間上的凸函數(shù),因?yàn)?em>在實(shí)際問題中出現(xiàn)的許多函數(shù)都是次模函數(shù)或其輕微的修改的,在計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)的許多領(lǐng)域中有應(yīng)用,例如機(jī)器學(xué)習(xí)[125,157,117,124],計(jì)算機(jī)視覺[31,96],運(yùn)籌學(xué)[98,182],電氣網(wǎng)絡(luò)[162]或經(jīng)濟(jì)學(xué)[203]。由于次模函數(shù)可以精確最小化,并且在某些保證下近似地最大化,因此在多項(xiàng)式時(shí)間內(nèi),它們很容易為它們所應(yīng)用的所有眾多問題帶來有效的算法。它們也出現(xiàn)在理論計(jì)算機(jī)的幾個(gè)領(lǐng)域中科學(xué),如擬陣?yán)碚揫189]。
然而,對(duì)次模函數(shù)的興趣并不限于離散優(yōu)化問題。 事實(shí)上,次模函數(shù)的豐富結(jié)構(gòu)及其通過Lovász擴(kuò)展與凸分析的聯(lián)系[135]和各種相關(guān)的多面體使它們特別適用于組合優(yōu)化之外的問題,即作為信號(hào)處理和機(jī)器學(xué)習(xí)問題中的正則化器[38,7]。
實(shí)際上,許多連續(xù)優(yōu)化問題表現(xiàn)出潛在的離散結(jié)構(gòu)(例如, 基于鏈、樹或更一般的圖)和次模函數(shù)提供了有效和通用的工具來捕獲這樣的組合結(jié)構(gòu)。
在這本專著中,次模函數(shù)的理論以一種獨(dú)立的方式呈現(xiàn),所有結(jié)果都是從機(jī)器學(xué)習(xí)中常見的凸分析的第一原理證明的,而不是依賴于組合優(yōu)化和傳統(tǒng)的理論計(jì)算機(jī)科學(xué)概念,如擬陣或流(見,例如, [72]有關(guān)這些方法的參考書)。 此外,我們提出的算法是基于傳統(tǒng)的凸優(yōu)化算法,如單純形法線性規(guī)劃,二次規(guī)劃的有效集方法,橢球方法,切割平面,和條件梯度。 這些將詳細(xì)介紹,特別是在次模函數(shù)最小化及其各種連續(xù)擴(kuò)展的背景下。 假設(shè)具有良好的凸分析知識(shí)(見,例如, [30,28]),并在附錄A中對(duì)重要概念進(jìn)行了簡短的回顧-更多詳細(xì)信息,請(qǐng)見,例如, [95,第30、28、185頁]。
各章大綱。分為幾個(gè)章節(jié),總結(jié)如下(在目錄中,第一次閱讀時(shí)可以跳過的章節(jié)用星星標(biāo)記):
(1)定義:在第二章中,我們給予了次模函數(shù)及其相關(guān)多面體的不同定義,特別是基多面體和次模多面體,它們?cè)诖文7治鲋惺侵陵P(guān)重要的,因?yàn)樵S多算法和模型都可以用這些多面體自然地表示。
(2)Lovász擴(kuò)展:在第三章中,我們將Lovász擴(kuò)展定義為從定義在上的函數(shù)到定義在
上的函數(shù)的擴(kuò)展(然后是
),并給予它的主要性質(zhì),特別是給出了次模分析中的關(guān)鍵結(jié)果:Lovász擴(kuò)展是凸的當(dāng)且僅當(dāng)集函數(shù)是次模的;此外,最小化次模集函數(shù)
等價(jià)于最小化
上的Lovász擴(kuò)展。這意味著次模函數(shù)最小化可以在多項(xiàng)式時(shí)間內(nèi)解決。最后,通過所謂的“貪婪算法”建立了Lovász擴(kuò)展和次模多面體之間的聯(lián)系:Lovász擴(kuò)展是基多面體的支撐函數(shù),并且可以以封閉形式計(jì)算。
(3)多面體:第四章將進(jìn)一步研究伴隨多面體,計(jì)算線性函數(shù)的支撐函數(shù)和伴隨極大化子,我們還詳細(xì)討論了這種多面體的面結(jié)構(gòu),這在第五章中與Lovász擴(kuò)展的稀疏誘導(dǎo)性質(zhì)相關(guān)時(shí)將很有用。
(4)次模罰函數(shù)的凸松弛:雖然次模函數(shù)可以直接使用(用于集函數(shù)的最小化或最大化),但我們?cè)诘?章中展示了如何使用它們來懲罰向量的支撐集或水平集,由此產(chǎn)生的混合組合/連續(xù)優(yōu)化問題可以使用Lovász擴(kuò)展自然地松弛為凸優(yōu)化問題。
(5)示例如下:在第6章中,我們介紹了次模函數(shù)的經(jīng)典例子,以及在機(jī)器學(xué)習(xí)中的幾個(gè)應(yīng)用,特別是割,集合覆蓋,網(wǎng)絡(luò)流,熵,譜函數(shù)和擬陣。
(6)非光滑凸優(yōu)化:在第七章中,我們回顧了經(jīng)典的迭代算法,如次梯度法、橢球法、單純法、割平面法、有效集法和條件梯度法,并特別注意在適用的情況下提供這些算法的原始/對(duì)偶解釋。
(7)可分離優(yōu)化-分析:在第八章中,我們考慮了由Lovász擴(kuò)展正則化的可分優(yōu)化問題,即形式為
的問題,并證明了這如何等價(jià)于一系列次模函數(shù)極小化問題。這是與次模函數(shù)相關(guān)的組合優(yōu)化問題和凸優(yōu)化問題之間的關(guān)鍵理論聯(lián)系,這將在后面的章節(jié)中使用。
(8)可分離優(yōu)化-算法:在第9章中,我們提出了兩套可分離優(yōu)化問題的算法。 第一個(gè)算法是一個(gè)精確的算法,它依賴于一個(gè)有效的次模函數(shù)最小化算法的可用性,而第二組算法是基于現(xiàn)有的凸優(yōu)化迭代算法,其中一些來與在線和離線的理論保證。 我們考慮有效集方法(“最小范數(shù)”算法)和條件梯度方法。
(9)次模函數(shù)最小化:在第10章中,我們介紹了各種次模函數(shù)最小化的方法。 我們簡要介紹了精確次模函數(shù)最小化的組合算法,并專注于更深入地使用特定的凸優(yōu)化問題,可以迭代求解,以獲得近似或精確解次模函數(shù)最小化,有時(shí)理論保證和近似最優(yōu)性證書。 我們考慮了次梯度法,橢球法,單純形算法和解析中心割平面。 我們還展示了第8章和第9章中的可分離優(yōu)化問題如何用于次模函數(shù)最小化。 第12章將對(duì)這些方法進(jìn)行實(shí)證比較。
(10)次模塊優(yōu)化問題:在第11章中,我們提出了其他組合優(yōu)化問題,可以部分解決使用次模分析,如次模函數(shù)最大化和次模函數(shù)的差異的優(yōu)化,并將這些問題與非凸優(yōu)化問題的次模多面體。 雖然這些問題通常不能在多項(xiàng)式時(shí)間內(nèi)解決,但許多算法都具有基于次模性的近似保證。
(11)實(shí)驗(yàn):在第12章中,我們提供了前面描述的優(yōu)化算法的例子,用于次模函數(shù)最小化,以及凸優(yōu)化問題(可分或不可分)。 所有這些實(shí)驗(yàn)的Matlab代碼可以在http://www.di.ens.fr/~fbach/submodular/上找到。
在附錄A中,我們回顧了凸分析的相關(guān)概念(如Fenchel對(duì)偶、對(duì)偶范數(shù)、規(guī)范函數(shù)和極集),而在附錄B中,我們給出了與次模函數(shù)相關(guān)的幾個(gè)結(jié)果,如保持次模性的運(yùn)算。
已經(jīng)有幾本關(guān)于同一主題的書籍和專著文章,本專著中提供的材料依賴于這些[72,162,126]。 然而,為了以最簡單的方式呈現(xiàn)材料,也使用了相關(guān)研究論文的思想,并更加強(qiáng)調(diào)凸分析和優(yōu)化。
符號(hào)。 我們考慮集合,其冪集為
,由
的
個(gè)子集組成。 給定一個(gè)向量
,
也表示定義為
的模集函數(shù)。此外,
意味著
是
的子集,可能等于
。 我們表示為
集合
的基數(shù),并且,對(duì)于
,
表示集合
的指示向量。 若
,則
表示
定義為
,我們稱之為弱(或強(qiáng))
-超水平集。 類似地,如果
,我們記為
。
對(duì)于,我們用
表示
的
-范數(shù),定義為
,其中
且
。最后,我們用
表示非負(fù)實(shí)數(shù)集,用
表示非零實(shí)數(shù)集,用
表示嚴(yán)格正實(shí)數(shù)集。