前言

SAM 是一種在自然圖像分割方面取得成功的模型，但在醫(yī)學(xué)圖像分割方面表現(xiàn)不佳。MedSAM 首次嘗試將 SAM 的成功擴(kuò)展到醫(yī)學(xué)圖像，并成為用于分割各種醫(yī)學(xué)圖像的通用工具。為了開發(fā) MedSAM，首先需要一個(gè)大型醫(yī)學(xué)圖像數(shù)據(jù)集，其中包括來自 11 種不同模態(tài)的超過 20 萬個(gè) Mask。該數(shù)據(jù)集用于訓(xùn)練和微調(diào) MedSAM 模型。最重要的是，提供了一種簡單的微調(diào)方法，使 SAM 適應(yīng)一般的醫(yī)學(xué)圖像分割。

通過對 21 項(xiàng)三維分割任務(wù)和 9 項(xiàng)二維分割任務(wù)進(jìn)行綜合實(shí)驗(yàn)，對 MedSAM 的性能進(jìn)行了評估。結(jié)果顯示，在三維和二維分段任務(wù)中，MedSAM 的表現(xiàn)優(yōu)于默認(rèn)的 SAM 模型。為了方便理解 MedSAM，下面先來看下 SAM 的流程。

技術(shù)交流

技術(shù)要學(xué)會分享、交流，不建議閉門造車。一個(gè)人走的很快、一堆人可以走的更遠(yuǎn)。

文章中的完整源碼、資料、數(shù)據(jù)、技術(shù)交流提升， 均可加知識星球交流群獲取，群友已超過2000人，添加時(shí)切記的備注方式為：來源+興趣方向，方便找到志同道合的朋友。

方式①、添加微信號：mlc2060，備注：加群
方式②、微信搜索公眾號：機(jī)器學(xué)習(xí)社區(qū)，后臺回復(fù)：加群

SAM 拆解分析

基礎(chǔ)模型有很強(qiáng)的泛化能力，這種能力通過提示工程（prompt engineering）實(shí)現(xiàn)，想要實(shí)現(xiàn)提示分割任務(wù)，需要解決三個(gè)問題：任務(wù)目標(biāo)、模型結(jié)構(gòu)和數(shù)據(jù)。

分割提示指的是完成圖像分割需要的 prompt 或者提示語，最常見的 prompt 包括點(diǎn)、bbox（框）、掩模圖和文本描述。任務(wù)要求收到任意提示符時(shí)均需要輸出至少一個(gè)有效 mask，即使提示符存在歧義。比如衣服上的點(diǎn)可能是想分割衣服，也可能是想?yún)^(qū)分人體。這兩者至少需要輸出一個(gè)。

如下圖所示，SAM 結(jié)構(gòu)簡單，包括一個(gè)圖像編碼器，一個(gè) prompt 編碼器和一個(gè)輕量級的解碼器。

此外，一個(gè)大規(guī)模的數(shù)據(jù)集是必不可少的，現(xiàn)有的數(shù)據(jù)集無法勝任這個(gè)任務(wù)。故設(shè)計(jì)了一個(gè)數(shù)據(jù)引擎去制造大量的高質(zhì)量數(shù)據(jù)來解決這個(gè)問題，通過數(shù)據(jù)引擎可以得到數(shù)據(jù)集 SA-1B，總共包含了 1100 萬張高分辨率圖片和 11 億個(gè) mask。

關(guān)于 Image encoder，輸入圖像輸入前被預(yù)處理為 1024*1024，Image encoder 采用MAE VIT-H/16，是經(jīng)典的視覺 Transformer 結(jié)構(gòu)，最后輸出（256，64，64）的圖像 embedding。

關(guān)于 Prompt encoder，根據(jù)不同的 prompt 會有不同的編碼方式，點(diǎn)和框的 embedding 通過位置編碼獲得，Mask 的 embedding 通過卷積操作獲得，文本的 embedding 則是通過 Clip 的 encoder 獲得。

關(guān)于 Mask decoder，首先做 prompt 的 self-attention， prompt 到圖像 embedding 的 Cross-attention。Cross-attention 是指在有兩個(gè)相同維度序列的情況下，而其中一個(gè)序列用作查詢 Q 輸入，而另一個(gè)序列用作鍵 K 和值 V 輸入。將兩個(gè)相同維度的嵌入序列不對稱地組合在一起。然后，右側(cè) MLP 均為三層，輸出維度與圖像 embedding channel 相同的向量，左側(cè) MLP 為 2048 個(gè)神經(jīng)元，主要作用為聚合全局特征。使用 MLP 更新 token，再做圖像 embedding 到 prompt 的 Cross-attention。經(jīng)過兩輪 decode layer 之后，token 再次與圖像 embedding 進(jìn)行 Cross-attention，output token 作為可訓(xùn)練參數(shù)在 decoder 前加入到 prompt 中，分別通過兩個(gè) MLP，得到 mask 和 mask 的 IOU。

從醫(yī)學(xué)角度理解 SAM 的效用

SAM 支持三種主要的分割模式：全自動分割模式、邊界框模式和點(diǎn)模式，下圖是腹部 CT 在不同 Prompt 下 SAM 的分割結(jié)果：

全自動分割模式根據(jù)圖像強(qiáng)度將整個(gè)圖像劃分為六個(gè)區(qū)域。然而，由于兩個(gè)主要原因，這種分割結(jié)果的實(shí)用性有限。一方面，分割結(jié)果沒有語義標(biāo)簽。另一方面，在臨床情景中，醫(yī)生主要關(guān)注有意義的感興趣區(qū)域，如肝臟、腎臟、脾臟和病變?；谶吔缈虻姆指钅Ｊ絻H需給出右腎的左上和右下點(diǎn)，就可以生成較好的結(jié)果。對于基于點(diǎn)的分割模式，我們首先在右腎中心給出一個(gè)前景點(diǎn)，但分割結(jié)果包括整個(gè)腹部組織。然后，我們在過度分割區(qū)域添加一個(gè)背景點(diǎn)。分割掩碼收縮到肝臟和右腎。在肝臟上添加另一個(gè)背景點(diǎn)后，我們最終獲得了預(yù)期的腎臟分割。

總之，當(dāng)將 SAM 應(yīng)用于醫(yī)學(xué)圖像分割時(shí)，全自動分割模式容易產(chǎn)生無用的區(qū)域劃分，基于點(diǎn)的模式模糊不清且需要多次預(yù)測-校正迭代。相比之下，基于邊界框的模式可以明確指定感興趣區(qū)域，無需多次嘗試和錯誤即可獲得合理的分割結(jié)果。此外，常用的標(biāo)注方法之一是在放射學(xué)中標(biāo)注最長直徑，如固態(tài)腫瘤的反應(yīng)評估標(biāo)準(zhǔn)（RECIST）?；?RECIST 標(biāo)注，可以輕松獲得目標(biāo)的邊界框提示。因此，我們認(rèn)為在使用 SAM 進(jìn)行醫(yī)學(xué)圖像分割時(shí)，基于邊界框的分割模式比全自動分割和基于點(diǎn)的模式具有更廣泛的實(shí)用價(jià)值。

MedSAM

MedSAM 的目標(biāo)是創(chuàng)建一種用于細(xì)分各種醫(yī)療圖像的通用工具。為了使 SAM 適應(yīng)醫(yī)學(xué)圖像分割，需要選擇適當(dāng)?shù)挠脩?Prompt 和網(wǎng)絡(luò)組件進(jìn)行微調(diào)。SAM 的網(wǎng)絡(luò)架構(gòu)包含三個(gè)主要組件：圖像編碼器、提示編碼器和掩碼解碼器。

MedSAM 選擇微調(diào)掩碼解碼器組件。圖像編碼器基于 VIT，它在 SAM 中具有最大的計(jì)算開銷。為了最大限度地降低計(jì)算成本，凍結(jié)了圖像編碼器。提示編碼器對邊界框的位置信息進(jìn)行編碼，可以從 SAM 中預(yù)先訓(xùn)練的邊界框編碼器中重復(fù)使用，因此也會凍結(jié)該組件。其余需要微調(diào)的部分是掩碼解碼器。

此外，預(yù)先計(jì)算了所有訓(xùn)練圖像的圖像嵌入，以避免重復(fù)計(jì)算每個(gè)提示的圖像嵌入，這顯著提高了訓(xùn)練效率。掩碼解碼器只需要生成一個(gè)掩碼而不是三個(gè)掩碼，因?yàn)樵诖蠖鄶?shù)情況下，邊界框提示符可以清楚地指定預(yù)期的分割目標(biāo)。

實(shí)驗(yàn)

整理了一個(gè)包含 33 個(gè)分割任務(wù)的大型多樣化數(shù)據(jù)集，包括各種分割目標(biāo)，例如腦心室、腦瘤、小腦、膽囊、心臟左心室、肝臟、胰腺、前列腺、腹部腫瘤、COVID-19 感染、頭頸部腫瘤、胸腔積液、胃、乳腺腫瘤、血管、心臟和肺部、息肉、視網(wǎng)膜圖像中的血管和圖像中的結(jié)腸腺分割。

醫(yī)學(xué)圖像的強(qiáng)度值范圍很廣，這會使訓(xùn)練變得不穩(wěn)定。為了解決這個(gè)問題，將所有圖像標(biāo)準(zhǔn)化到相同的強(qiáng)度范圍。對于 CT 圖像，他們將強(qiáng)度值限制在 [-500，1000] 的范圍，因?yàn)樵摲秶w了大多數(shù)組織。對于其他圖像，他們將強(qiáng)度值削減到 0.95 到 99. 5百分位之間。然后，他們將所有強(qiáng)度值標(biāo)準(zhǔn)化到 [0，255] 范圍，并將圖像大小調(diào)整為 256 × 256 × 3 的統(tǒng)一大小?？偠灾?#xff0c;整理了一個(gè)龐大而多樣的數(shù)據(jù)集并對圖像進(jìn)行了預(yù)處理，以確保MedSAM 模型的穩(wěn)定訓(xùn)練。

下表是在 3D 的不同模態(tài)數(shù)據(jù)上，MedSAM 和 SAM 的對比結(jié)果：

下表是在 2D 的不同模態(tài)數(shù)據(jù)上，MedSAM 和 SAM 的對比結(jié)果：

下圖分別在 3D 和 2D 數(shù)據(jù)上做 MedSAM 和 SAM 的分割結(jié)果可視化，在同一個(gè) Prompt 下，MedSAM 效果要好很多。

總結(jié)

MedSAM 支持用戶在自定義數(shù)據(jù)集上微調(diào) SAM，提供帶有小型數(shù)據(jù)集（包括 2D 和 3D）的分步教程，鏈接在：https://drive.google.com/file/d/1EvVBTSa9L7pDTmUOp-MHXxGD1lrU9Txk/view?usp=share_link

參考

• https://arxiv.org/pdf/2304.12306.pdf

• https://github.com/bowang-lab/MedSAM