基本信息

論文題目: Building height calculation for an urban area based on street view images and deep learning
中文題目: 基于街景圖像和深度學(xué)習(xí)的城區(qū)建筑高度計算
作者及單位:
– Zhen Xu Furong Zhang Yingying Wu Yajun Yang Yuan Wu
– 北京科技大學(xué)城市與安全研究所，土木與資源工程學(xué)院，北京，中國

錄用時間: 2023年
期刊: Computer-Aided Civil and Infrastructure Engineering 中國科學(xué)院SCI分區(qū) 1區(qū)

---

摘要

這篇文章提出了一種利用街景圖像和深度學(xué)習(xí)技術(shù)計算城市建筑高度的新方法。

• 通過優(yōu)化觀察點位置的遺傳算法和基于Mask R-CNN的深度學(xué)習(xí)模型
• 該方法能夠高效地檢測建筑并精確計算其高度
• 實驗表明，平均高度誤差為0.78米，證明了該方法的高精度和可行性

---

背景

城市建筑高度數(shù)據(jù) 在土地利用、城市規(guī)劃、人口估算、能源消耗分析等多個領(lǐng)域具有重要價值

• 傳統(tǒng)的高度測量方法包括土地測量、遙感圖像處理等，但這些方法在高密度低層建筑或特殊建筑形狀的地區(qū)往往失效

---

難點

• 觀察點選擇困難：觀察點過多會浪費資源，而過少會導(dǎo)致建筑信息不完整。
• 全景圖像檢測難度高：全景圖像中建筑形狀復(fù)雜且失真嚴(yán)重，傳統(tǒng)算法難以有效檢測。
• 高度計算復(fù)雜：需要精確建立建筑的邊界和實際位置之間的 映射關(guān)系

希望提出一種能夠結(jié)合街景圖像和深度學(xué)習(xí)的自動化方法，解決觀察點選擇、建筑檢測和高度計算的難題

---

數(shù)據(jù)集和評價指標(biāo)

數(shù)據(jù)集

• 來源：百度街景圖像，包含校園、新北川鎮(zhèn)和如皋市的建筑數(shù)據(jù)。
• 標(biāo)注方式：使用LabelMe手動標(biāo)注建筑的邊界曲線。
  5.2

評價指標(biāo)

• mAP@.50 IOU：評估Mask R-CNN檢測結(jié)果的精度。
• 誤差分析：通過實際測量值驗證計算高度的誤差，平均誤差為0.78米，平均相對誤差為4.43%

---

方法

這張圖展示了該論文提出的用于計算建筑高度的整個方法框架，清晰地描述了從數(shù)據(jù)輸入到案例研究的完整流程

圖中5個部分的詳細解釋

• 數(shù)據(jù)輸入（Data Input）
  • 使用街景地圖（如百度街景）獲取建筑立面圖像。
  • 從GIS平臺獲取建筑足跡和道路線信息。
  • 數(shù)據(jù)輸入為整個框架提供了必要的初始信息，結(jié)合街景圖像和空間數(shù)據(jù)為后續(xù)步驟打下基礎(chǔ)
• 圖像采集（Image Acquisition）
  • 流程：
    確定備選觀察點：通過遺傳算法（GA）優(yōu)化選擇觀察點，以覆蓋所有建筑并減少下載數(shù)量。
    街景爬蟲：從街景地圖中自動獲取360°全景圖像。
  • 作用： 提高了圖像采集的效率，確保了數(shù)據(jù)的覆蓋性和完整性。
• 建筑檢測（Building Detection）
  • 步驟：
    創(chuàng)建樣本集并對圖像進行標(biāo)注。
    訓(xùn)練Mask R-CNN模型檢測建筑。
    使用mAP@.50 IOU評價檢測結(jié)果。
  • 關(guān)鍵技術(shù)： Mask R-CNN可以精確分割建筑邊界，為高度計算提供了準(zhǔn)確的輸入數(shù)據(jù)。
• 高度計算（Height Calculation）
  • 流程：
    將檢測到的建筑與實際建筑進行映射。
    采用邊界搜索算法定位建筑頂部。
    構(gòu)建數(shù)學(xué)模型，基于圖像中的邊界點計算建筑高度。
  • 意義： 這一階段是核心部分，結(jié)合檢測結(jié)果和數(shù)學(xué)模型實現(xiàn)了精確的高度計算。
• 案例研究（Case Study）
  • 驗證場景：
    北京科技大學(xué)校園：用于驗證方法的基本準(zhǔn)確性。
    新北川鎮(zhèn)：證明方法在中型城市的適用性。
    如皋市：展示方法在大規(guī)模城市環(huán)境中的擴展能力。
  • 圖例解讀： 圖中用不同顏色表示建筑高度范圍，例如：
    黃色：建筑高度小于24米。
    綠色：高度在24米至50米之間。
    藍色：高度超過50米。

---

確定建筑觀察點

(a)：定義建筑與觀察點的關(guān)系，判斷建筑是否在觀察范圍內(nèi)（表示為 $s_{ij}$)
(b)：連接觀察點與建筑轉(zhuǎn)角點，分析可視性。
(c )：基于視線和建筑輪廓的交互關(guān)系，確定建筑是否被完整觀察到（表示為 $q_{ij}$)
Buildings（棕色）：建筑的輪廓區(qū)域。
Observation locations（黃色圓點）：觀察點的位置。
Observation range（綠色圓圈）：觀察點的覆蓋范圍。
Turning points of buildings（綠色菱形）：建筑的轉(zhuǎn)角點，用于判斷可視性

確定建筑觀察點是否能夠有效觀察到建筑立面的流程如下:

• 判斷建筑是否在觀察范圍內(nèi)（(a)部分）
  • 步驟：
    • 以觀察點為圓心，半徑為有效觀察距離 $R$，繪制圓形觀察范圍。
    • 如果建筑與觀察范圍有重疊，設(shè) $s_{ij}=1$，否則 $s_{ij}=0$
  • 目的： 這一部分用于篩選哪些建筑在某個觀察點的有效范圍內(nèi)，從而減少后續(xù)的計算工作量。
• 分析可視性（(b)部分）
  • 步驟：
    • 連接觀察點與建筑轉(zhuǎn)角點，生成多條視線。
    • 判斷視線是否穿過其他建筑或被遮擋。
    • 如果視線與建筑輪廓無交點，則認(rèn)為該轉(zhuǎn)角點是可見的。
  • 作用： 通過視線分析，進一步確認(rèn)建筑的哪些部分可以被觀察到。
• 確定是否完整觀察到建筑（(c )部分）
  • 步驟：
    如果一個建筑的所有轉(zhuǎn)角點都在觀察范圍內(nèi)且可見，則設(shè)定 $q_{ij}=1$，表示該建筑被完整觀察到。否則 $q_{ij}=0$
  • 意義： 這一部分的判斷結(jié)果直接影響后續(xù)建筑檢測和高度計算的準(zhǔn)確性

---

示例 -- 北京市科技大學(xué)西校區(qū)的觀察點分布圖

綠色區(qū)域代表建筑物的分布。
黃色圓點標(biāo)記了街景數(shù)據(jù)的觀察點位置。
橙色線條表示街道網(wǎng)絡(luò)，即街景數(shù)據(jù)的采集范圍。

證明了:

1. 數(shù)據(jù)采集優(yōu)化
   通過優(yōu)化觀察點分布，減少冗余采集，降低數(shù)據(jù)獲取成本。
2. 提升覆蓋效果
   確保建筑區(qū)域被完整觀察，保證街景圖像采集的全面性。
3. 應(yīng)用于復(fù)雜場景
   優(yōu)化方法適用于更大范圍或更復(fù)雜建筑布局的場景

---

比較了均勻分布方法和文章提出的優(yōu)化方法在不同場景中的所需的觀察點數(shù)量

均勻分布方法：
– 校園場景需要25個觀察點。
– 新北川鎮(zhèn)場景需要596個觀察點。
提出的方法：
– 校園場景僅需9個觀察點。
– 新北川鎮(zhèn)場景僅需245個觀察點。
對比結(jié)果：
– 在兩個場景中，提出的方法顯著減少了所需的觀察點數(shù)量

---

街景全景圖及其分割網(wǎng)格示例

圖像來源：
– 圖像為典型的街景全景圖，來源于數(shù)據(jù)采集階段，通過街景爬蟲工具獲取。
– 其主要特點是通過球面投影顯示所有方向的信息。
網(wǎng)格劃分：
– 全景圖被劃分為多個均勻的矩形網(wǎng)格，每個網(wǎng)格代表街景圖像的一部分。
– 每個網(wǎng)格的劃分是為了方便后續(xù)的區(qū)域化處理，如檢測目標(biāo)建筑物和分析建筑邊界

網(wǎng)格化的目的

• 區(qū)域分塊處理：
  由于街景圖像為全景形式，圖像分辨率較高且信息量大。
  將圖像分割為多個子區(qū)域后，可以針對每個區(qū)域單獨進行檢測和分析。
• 定位精確性：
  網(wǎng)格劃分有助于快速定位建筑物的具體位置，同時減少冗余計算。

網(wǎng)格編號與處理流程

• 編號含義：
  每個編號對應(yīng)一個矩形子區(qū)域，用于標(biāo)記建筑物所在的具體位置。
• 處理步驟：
  • 輸入全景圖像：以球面形式展開街景數(shù)據(jù)，形成水平和垂直視野完整的圖像。
  • 劃分網(wǎng)格：將圖像分割為16個相等的矩形區(qū)域。
  • 區(qū)域處理：針對每個網(wǎng)格運行建筑檢測算法，如Mask R-CNN。
  • 結(jié)果合并：將各個網(wǎng)格中的檢測結(jié)果整合，形成全局建筑物檢測結(jié)果。

---

街景爬蟲的實現(xiàn)流程

該圖是一個流程圖，詳細描述了利用百度地圖API抓取街景全景圖像的實現(xiàn)步驟，包括初始化請求、抓取圖像以及拼接存儲的全過程:

初始化與請求

• 流程：
  根據(jù)觀察點的坐標(biāo)和全景圖的水平及俯仰角度初始化參數(shù)。
  創(chuàng)建HTTP請求，將所有請求放入隊列中。
• 作用：
  將街景爬取任務(wù)轉(zhuǎn)化為API調(diào)用的可操作形式。
  利用隊列機制為后續(xù)批量處理打下基礎(chǔ)。

爬取圖像

• 流程：
  判斷隊列是否為空：
  – 如果為空，則結(jié)束爬取任務(wù)。
  – 如果不為空，取出一個HTTP請求。
  利用百度地圖API發(fā)送請求并嘗試爬取圖像。
  檢查圖像是否成功爬取：
  – 如果成功，刪除隊列中對應(yīng)的請求。
  – 如果失敗，保留該請求以便重試。
• 作用：
  通過循環(huán)機制確保每個請求都得到處理。
  提高數(shù)據(jù)爬取的成功率，避免由于網(wǎng)絡(luò)問題導(dǎo)致的任務(wù)丟失。

拼接與存儲

• 流程：
  將成功爬取的子圖像按照全景圖的拼接規(guī)則組合成完整的街景全景圖。
  將拼接完成的全景圖存儲至本地或數(shù)據(jù)庫中。
• 作用：
  生成高質(zhì)量的全景圖，為后續(xù)建筑檢測和高度計算提供輸入數(shù)據(jù)

---

手動標(biāo)注建筑物輪廓

該圖展示了標(biāo)注建筑物輪廓的過程，圖中不同建筑被標(biāo)注為不同的顏色區(qū)域，輪廓線明確地勾勒出每個建筑物的邊界
標(biāo)注工具：使用了一種支持全景圖像操作的標(biāo)注軟件（例如LabelMe)

標(biāo)注內(nèi)容的用途

• Mask R-CNN 模型訓(xùn)練：
  – 標(biāo)注的圖像作為訓(xùn)練樣本，用于指導(dǎo)模型學(xué)習(xí)如何分割建筑物。
• 提升檢測精度：
  – 通過高質(zhì)量標(biāo)注，提高模型對復(fù)雜背景下建筑物邊界的識別能力

---

檢測到的建筑與實際建筑之間的映射關(guān)系

(a)部分：展示了建筑在實際地理空間中的位置與觀察點的幾何關(guān)系，基于球面坐標(biāo)系統(tǒng)描述。
(b)部分：展示了檢測到的建筑在圖像坐標(biāo)系中的表示以及從圖像像素坐標(biāo)到地理位置的映射過程。

(a) 地理空間中的建筑位置與觀察點關(guān)系

• 元素解釋：
  黃色圓點 $O^{\prime }$ : 觀察點的位置。
  綠色菱形：建筑的轉(zhuǎn)角點。
  紅色邊界線：建筑物在當(dāng)前視角下的可觀察部分。
  ${\rho }_1,{\rho }_2$：建筑與觀察點之間的距離范圍。
  $D(\rho )$：建筑物邊界的測量距離。
• 幾何關(guān)系：建筑在地理空間中通過球面坐標(biāo)系統(tǒng)描述，其位置和輪廓與觀察點的位置密切相關(guān)。

(b) 圖像空間中的建筑表示

• 元素解釋：
  $W_{img}$和 $H_{img}$：圖像的寬度和高度（像素單位）
  $(x_j,y_j)$：建筑頂點在圖像中的像素坐標(biāo)
  映射關(guān)系：將圖像中的像素點 $(x_j,y_j)$轉(zhuǎn)換為地理空間坐標(biāo)$({\rho }_j,{?}_j)$
  $$\begin{gathered} {\rho }_j=2\pi ?\left(\frac{x_j}{W_{\mathrm{i}\mathrm{m}\mathrm{g}}}?\frac{1}{2}\right) \\ {\phi }_j=\pi ?\left(\frac{1}{2}?\frac{y_j}{H_{\mathrm{i}\mathrm{m}\mathrm{g}}}\right) \end{gathered}$$
  此公式表示: 如何將街景圖像中的矩形坐標(biāo)（像素坐標(biāo)）映射到球面坐標(biāo)系下的方位角和仰角
• 圖像像素坐標(biāo)系：
  橫坐標(biāo) $x$：圖像寬度方向（從左至右）
  縱坐標(biāo) $y$：圖像高度方向（從上至下）

---

建筑檢測與預(yù)處理

(a) 檢測前的圖像
內(nèi)容：
– 使用Mask R-CNN模型對街景圖像進行建筑檢測，標(biāo)注了建筑的邊界框（Bounding Box）。
– 檢測結(jié)果顯示在綠色框內(nèi)的建筑區(qū)域，框外的背景區(qū)域未被標(biāo)注。
– 邊界框內(nèi)顯示了置信度（“blg: 100%”），表明模型對建筑檢測結(jié)果的高度信任。
作用：
– 提供建筑的初步檢測結(jié)果，為后續(xù)的預(yù)處理奠定基礎(chǔ)。

(b) 預(yù)處理后的圖像
內(nèi)容：
– 經(jīng)過預(yù)處理，僅保留建筑的二值化掩碼，建筑區(qū)域為白色，其他背景區(qū)域為黑色。
– 去除了圖像中的背景信息，確保輸入數(shù)據(jù)更為簡潔。
作用：
– 為高度計算和邊界檢測提供更干凈的數(shù)據(jù)
– 減少冗余信息對后續(xù)分析的干擾

---

邊界搜索

該圖展示了建筑頂部邊界點的搜索與確定過程

(a) 預(yù)處理圖像
內(nèi)容：
– 預(yù)處理后的二值化圖像，背景為黑色，建筑區(qū)域為白色。
– 中間的綠色虛線表示圖像的參考中心線（通常是觀察點的視線）。
作用：
– 提供建筑的輪廓信息，作為邊界搜索的輸入。

(b) 搜索可能的觀察角度
內(nèi)容：
– 從不同的角度投射視線，搜索建筑頂部可能的邊界點。
– 藍色錐形區(qū)域表示視線范圍。
– 黑色箭頭指示視線的搜索方向。
作用：
– 通過多視角分析，避免單一視角可能導(dǎo)致的邊界誤差。

(c ) 確定上邊界點
內(nèi)容：
– 根據(jù)視線和建筑輪廓的交點，計算出建筑的頂部邊界。
– 紫色直線表示最終確定的邊界點連接。
作用：
– 精確定位建筑頂部，為高度計算提供可靠的數(shù)據(jù)支持。

---

固定相機高度下建筑高度計算的測量模型

該圖展示了如何通過幾何關(guān)系推導(dǎo)建筑物高度的計算公式

觀測結(jié)構(gòu)：
右側(cè)的相機表示觀察點，固定安裝在某一高度 $H_{cam}$。
藍色虛線表示觀察點與建筑的視線。
黃色虛線表示建筑的中心軸線，用于表示高度的測量路徑

符號說明1：
$H(\rho )$：建筑物的總高度。
$H_1(\rho )$：建筑頂部到相機的高度。
$H_2(\rho )=H_{cam}$：建筑底部到相機的高度，等于相機安裝的固定高度。
關(guān)系：
建筑物總高度為頂部高度和底部相機高度之和:
$$H(\rho )=H_1(\rho )+H_2(\rho )$$

符號說明2：
$D(\rho )$: 觀察點到建筑的水平距離
${\phi }_1$: 從觀察點到建筑頂部的仰角
${\phi }_2$: 從觀察點到建筑底部的仰角
關(guān)系：
根據(jù)三角函數(shù)，頂部和底部的高度可以通過仰角和水平距離計算
$$\begin{gathered} H_1(\rho )=D(\rho )?\tan ({\phi }_1) \\ {H}_2(\rho )=D(\rho )?\tan ({\phi }_2) \end{gathered}$$

---

計算建筑高度與實際測量建筑高度之間的對比

第一列：建筑編號（Building no.），標(biāo)記19棟建筑的序號
第二列：通過提出的方法計算出的建筑高度 $H^a$（單位：米）
第三列：實際測量的建筑高度 $H^m$（單位：米）
第四列：計算高度與測量高度之間的絕對誤差（Error），單位為米。
表格底部 顯示了整體的平均相對誤差（Mean relative error），為4.43%。

較大誤差現(xiàn)象：
– 編號9的誤差為2.35米，這是表格中最大的誤差。
– 表明在部分較高或復(fù)雜建筑的高度計算中仍存在改進空間

盡管建筑高度和結(jié)構(gòu)復(fù)雜性不同，該方法在所有19棟建筑上均表現(xiàn)出較好的精度

---

北京科技大學(xué)西校區(qū)建筑高度分布的三維可視化結(jié)果

該圖展示了校園內(nèi)所有建筑的三維結(jié)構(gòu)及其對應(yīng)的高度分類。

建筑的高度被劃分為三個范圍，并以不同顏色表示：
– 黃色：高度小于15米。
– 綠色：高度在15米至30米之間。
– 藍色：高度大于30米。
藍色圓點 標(biāo)記了街景數(shù)據(jù)的觀察點分布

---

新北川鎮(zhèn)的建筑高度計算結(jié)果

該圖展示了新北川鎮(zhèn)的建筑高度計算結(jié)果，以三維形式顯示了不同建筑的高度分布情況

高度低于5米 的建筑：灰色。
高度在5米到24米之間 的建筑：綠色。
高度在24米到50米之間 的建筑：黃色。
高度高于50米 的建筑：紅色。

通過真實場景的三維可視化，驗證了文章提出的方法在建筑高度計算中的適用性和精確性