在這篇文章中，我們描述了一個為阿姆斯特丹 3D 城市模型自動添加門窗的系統(tǒng)（可以在這里訪問）。 計算機視覺用于從城市全景圖像中提取有關(guān)門窗位置的信息。 由于這種類型的街道級圖像廣泛可用，因此該方法可用于較大的地理區(qū)域。

推薦：用 NSDT編輯器 快速搭建可編程3D場景。

處于開發(fā)階段的阿姆斯特丹 3D 城市模型可用于更輕松地向公眾傳達空間規(guī)劃。 此外，公眾可以更多地參與市政府的規(guī)劃決策和宗旨。 城市模型由簡化形狀的建筑物組成； 在 CityGML1 術(shù)語中，它們處于細(xì)節(jié)級別 2 (LOD2)。 在建筑物上添加門窗可以實現(xiàn)許多新的用例，包括應(yīng)急響應(yīng)規(guī)劃、城市可持續(xù)性和城市模擬（例如，“采光權(quán)”對新建筑潛在建設(shè)的影響）。

阿姆斯特丹3D城市模型

本文所提出的系統(tǒng)可以分為以下三個步驟：

1、從全景圖像中提取立面紋理

第一步利用建筑物視頻數(shù)據(jù)從街道全景圖像中識別、校正和提取建筑物的紋理區(qū)域。下圖為說明提議的處理管線第一階段想法的示例。

（左）從阿姆斯特丹 Hartenstraat 拍攝的全景圖像。 （中）全景圖像的位置及其與建筑物足跡數(shù)據(jù)之間的關(guān)系。 （右）修正后的立面紋理。

2、從提取的紋理中檢測門窗

第二步是使用 Mask R-CNN（一種深度卷積神經(jīng)網(wǎng)絡(luò)）從建筑物的紋理區(qū)域檢測門窗。 我們生成了超過 980 張高質(zhì)量的分割掩模圖像來訓(xùn)練網(wǎng)絡(luò)。

（左）修正后的立面紋理。 （中左）手動注釋的分割掩模圖像，地面實況。 （中右）邊界框、分割掩模和相應(yīng)的類標(biāo)簽。 （右）邊界框表示檢測到的門窗。

3、將檢測到的門窗添加到 3D 模型中

在第三步（也是最后一步）中，將先前檢測到的門窗與輸入的 CityGML LOD2 模型對齊，以構(gòu)建 CityGML LOD3 模型。

上圖為使用所提出的系統(tǒng)在 LOD3 中生成虛擬街道場景。 使用 Azul CityGML 查看器 進行可視化。

這是該項目的演示視頻 ，代碼可以從github下載。

---

原文鏈接：深度學(xué)習(xí)增強3D城市模型 — BiMAnt