大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新服務(wù)媒體

——聚焦數(shù)據(jù)?· 改變商業(yè)

---

一說(shuō)到計(jì)算機(jī)視覺(jué)，大多數(shù)人第一時(shí)間聯(lián)想到的便是“人臉識(shí)別”、“自動(dòng)駕駛“、道路檢測(cè)”等跟我們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的關(guān)鍵詞。而在2024年的5月末，微軟在GitHub上面上傳了這樣一個(gè)計(jì)算機(jī)視覺(jué)的項(xiàng)目，完全不包含這些關(guān)鍵詞，卻吸引來(lái)了無(wú)數(shù)人圍觀，短短兩天時(shí)間就沖到了700顆星。

這個(gè)項(xiàng)目就是Pytorch-Wildlife。項(xiàng)目成立的初衷是因?yàn)槿祟惢顒?dòng)導(dǎo)致全球生物多樣性急劇下降，對(duì)野生動(dòng)物種群的全面監(jiān)控變得尤為迫切。

可是想要完全利用人力，來(lái)對(duì)某一種群或者某一塊棲息地進(jìn)行24小時(shí)監(jiān)控，這顯然是不現(xiàn)實(shí)的。不僅僅是因?yàn)槌杀具^(guò)于高昂，而是人類肉眼很難完整觀察清楚一些行動(dòng)迅敏的動(dòng)物，這就會(huì)導(dǎo)致沒(méi)有辦法準(zhǔn)確記錄物種以及棲息地情況。于是在這個(gè)大背景下，Pytorch-Wildlife誕生了。

PyTorch-Wildlife是一個(gè)用于創(chuàng)建、修改和共享強(qiáng)大 AI 保護(hù)模型的平臺(tái)。這些模型可用于各種應(yīng)用，包括相機(jī)陷阱圖像（當(dāng)檢測(cè)到動(dòng)物經(jīng)過(guò)時(shí)進(jìn)行拍照）、俯視圖像、水下圖像以及生物聲學(xué)。通俗來(lái)講，項(xiàng)目是利用數(shù)據(jù)集和深度學(xué)習(xí)架構(gòu)來(lái)實(shí)現(xiàn)保護(hù)野生動(dòng)物的目的。

項(xiàng)目的原理其實(shí)并不復(fù)雜。首先，利用了Megadetector v5進(jìn)行對(duì)象檢測(cè)，這是一個(gè)預(yù)先訓(xùn)練好的模型，用以過(guò)濾掉空?qǐng)D像或含有非動(dòng)物對(duì)象（如人類和車輛）的圖像。

圖：亞馬遜叢林的動(dòng)物

Megadetector是基于Yolov5檢測(cè)模型架構(gòu)，專門為動(dòng)物檢測(cè)設(shè)計(jì)的深度學(xué)習(xí)模型。能夠處理來(lái)自不同地區(qū)和生態(tài)系統(tǒng)的大約300萬(wàn)張動(dòng)物圖像。

接下來(lái)，對(duì)所拍攝的視頻和圖像進(jìn)行采集，把采集得到的數(shù)據(jù)喂給Megadetector v5進(jìn)行識(shí)別篩選。其中，對(duì)于視頻數(shù)據(jù)，每段視頻按30fps的幀率被拆分成圖像幀，如果原視頻幀率低于30fps，則使用原始幀率。這種取舍可以平衡模型的運(yùn)行效率以及識(shí)別精準(zhǔn)度。

針對(duì)檢測(cè)到的動(dòng)物對(duì)象，Pytorch-Wildlife會(huì)將它們裁剪并調(diào)整至256x256像素的尺寸，并根據(jù)圖像級(jí)別的標(biāo)注為每個(gè)裁剪圖像分配標(biāo)簽。

大多數(shù)深度學(xué)習(xí)模型，尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)，它對(duì)輸入的素材是有嚴(yán)格規(guī)范的。256x256其實(shí)是一個(gè)常見(jiàn)的選擇，因?yàn)樗饶鼙３忠欢ǖ膱D像細(xì)節(jié)，又不會(huì)使計(jì)算負(fù)擔(dān)過(guò)大。

在裁剪之后，利用Pytorch-Wildlife的分類微調(diào)模塊，采用ResNet-50作為基礎(chǔ)模型架構(gòu)，進(jìn)行動(dòng)物的識(shí)別訓(xùn)練。訓(xùn)練設(shè)置包括60個(gè)訓(xùn)練周期，批量大小為128，采用隨機(jī)梯度下降優(yōu)化器，并設(shè)定學(xué)習(xí)率在每20個(gè)周期后衰減。

以往來(lái)看，開(kāi)發(fā)者需要對(duì)模型進(jìn)行微調(diào)，模型才能夠更好地理解和區(qū)分特定的動(dòng)物類別，提高在實(shí)際野生動(dòng)物監(jiān)測(cè)任務(wù)中的識(shí)別準(zhǔn)確率。而Pytorch-Wildlife框架提供的微調(diào)模塊則簡(jiǎn)化了這一過(guò)程，使得即使是沒(méi)有深厚技術(shù)背景的研究人員，也能利用先進(jìn)的深度學(xué)習(xí)技術(shù)進(jìn)行動(dòng)物識(shí)別模型的定制化訓(xùn)練。

Pytorch-Wildlife團(tuán)隊(duì)準(zhǔn)備兩份案例，第一個(gè)是在亞馬遜叢林中檢測(cè)動(dòng)物。

亞馬遜雨林是世界上最大的熱帶雨林，是地球上生物多樣性最豐富的地區(qū)之一。亞馬遜雨林里的動(dòng)物數(shù)量是非常驚人的，已知的動(dòng)物種類超過(guò)了10萬(wàn)種，這包括鳥(niǎo)類、哺乳動(dòng)物、爬行動(dòng)物、兩棲動(dòng)物以及其他無(wú)脊椎動(dòng)物等。但是這個(gè)數(shù)字僅僅是已記錄和描述的物種，現(xiàn)代學(xué)者普遍認(rèn)為，還有成千上萬(wàn)甚至是數(shù)百萬(wàn)種動(dòng)物物種尚未被發(fā)現(xiàn)和描述。由于亞馬遜雨林的廣闊和復(fù)雜性，新的物種仍在不斷被發(fā)現(xiàn)，因此確切的動(dòng)物種類數(shù)量是一個(gè)不斷變化且難以精確統(tǒng)計(jì)的數(shù)字。

Pytorch-Wildlife使用了一個(gè)包含41904張圖像的數(shù)據(jù)集，這些圖像覆蓋了36個(gè)已標(biāo)記的動(dòng)物屬，其中33569張用于訓(xùn)練，8335張用于驗(yàn)證。

在亞馬遜雨林項(xiàng)目中，模型實(shí)現(xiàn)了92%的識(shí)別準(zhǔn)確率，針對(duì)90%的數(shù)據(jù)集在98%的置信度閾值下正確預(yù)測(cè)。這意味著，大部分動(dòng)物圖像能夠被準(zhǔn)確分類，只有少量需要人工審核。

除了亞馬遜叢林的案例外，Pytorch-Wlidlife還有一個(gè)在加拉帕戈斯群島的項(xiàng)目。這個(gè)項(xiàng)目的背景非常獨(dú)特，雖然加拉帕戈斯群島的動(dòng)物種類也很多，然而這個(gè)脆弱的生態(tài)系統(tǒng)正面臨外來(lái)入侵物種的重大威脅，這些物種可能改變本地物種的種群動(dòng)態(tài)并導(dǎo)致它們滅絕。

Pytorch-Wlidlife檢測(cè)到，一些負(fù)鼠通過(guò)船只、陸地等手段，正在入侵加拉帕戈斯群島的生態(tài)。對(duì)本地生物構(gòu)成了競(jìng)爭(zhēng)壓力，因此連續(xù)的監(jiān)測(cè)和管理對(duì)于維持生態(tài)平衡至關(guān)重要。

項(xiàng)目中使用的數(shù)據(jù)集包含491471段視頻，這些視頻被標(biāo)記為“負(fù)鼠”或“非負(fù)鼠”。數(shù)據(jù)集被劃分為訓(xùn)練集和驗(yàn)證集，分別包含343053段和148418段視頻。

經(jīng)過(guò)驗(yàn)證，Pytorch-Wildlife平臺(tái)訓(xùn)練的模型針對(duì)入侵的負(fù)鼠識(shí)別達(dá)到了98%的準(zhǔn)確率。比如下面兩張圖，由于是夜間拍攝的緣故，即便是人的肉眼也很難第一時(shí)間分清兩種動(dòng)物。第一張圖片是當(dāng)?shù)氐氖诚伀F，第二張是外來(lái)入侵物種負(fù)鼠。

圖：食蟻獸

圖：負(fù)鼠

這部片接下來(lái)要怎么拍？

Pytorch-Wildlife在監(jiān)控和識(shí)別上初步取得了成功，不過(guò)這對(duì)于保護(hù)生態(tài)平衡上來(lái)說(shuō)顯然還是遠(yuǎn)遠(yuǎn)不夠的。未來(lái)Pytorch-Wildlife將會(huì)連接LILA：BC數(shù)據(jù)集，進(jìn)一步提高對(duì)物種識(shí)別的能力。

LILA數(shù)據(jù)集指的是亞歷山大圖書館的標(biāo)注信息庫(kù)：生物與保護(hù)（Labeled Information Library of Alexandria：Biology and Conservation），這是一個(gè)專注于生物學(xué)和野生動(dòng)物保護(hù)領(lǐng)域的數(shù)據(jù)集庫(kù)，提供了多樣化的開(kāi)放數(shù)據(jù)資源，用于促進(jìn)野生動(dòng)植物的監(jiān)測(cè)、保護(hù)生物學(xué)研究以及生態(tài)系統(tǒng)的管理。

LILA數(shù)據(jù)集包含大量經(jīng)過(guò)標(biāo)注的信息，比如圖片、視頻和其他類型的數(shù)據(jù)，這些數(shù)據(jù)有助于科學(xué)家和保護(hù)工作者利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)來(lái)識(shí)別和跟蹤野生動(dòng)物，評(píng)估生物多樣性。此外，通過(guò)使用LILA進(jìn)行與訓(xùn)練，還能夠監(jiān)測(cè)生態(tài)系統(tǒng)的健康狀況。

圖：Pytorch-Wildlife未來(lái)的規(guī)劃圖

數(shù)據(jù)猿也體驗(yàn)了一下Megadetector的實(shí)力。識(shí)別模型選擇Megadetector v5，檢測(cè)模型選擇的是亞馬遜叢林。可以明顯看出，只要是亞馬遜叢林中出現(xiàn)的動(dòng)物，Megadetector都能很好的識(shí)別出來(lái)。

圖：亞馬遜叢林中的豹子

不過(guò)像是數(shù)據(jù)猿LOGO這種卡通動(dòng)物形象，即便把識(shí)別閾值拉滿，Megadetector也沒(méi)有辦法識(shí)別出來(lái)。相反，如果是真實(shí)的動(dòng)物，Megadetector只需要很低的閾值就能識(shí)別。

圖：Megadetector無(wú)法識(shí)別卡通動(dòng)物形象

根據(jù)開(kāi)發(fā)團(tuán)隊(duì)的介紹，Megadetector的最新版本，也就是Megadetector v6即將上線，識(shí)別率遠(yuǎn)超v5版本，同時(shí)消耗的計(jì)算資源更低。目前，使用Megadetector v5檢測(cè)一張圖片耗時(shí)約為20秒，而v6版本將會(huì)讓耗時(shí)小于15秒。

另外Megadetector v6還會(huì)支持更多的低預(yù)算設(shè)備，這是因?yàn)樵趤嗰R遜叢林等地，溫?zé)岢睗竦纳鷳B(tài)環(huán)境會(huì)使得拍攝設(shè)備損壞率提高，沒(méi)辦法長(zhǎng)期維持成本高昂的拍攝設(shè)備。然而成本較低的拍攝設(shè)備會(huì)導(dǎo)致拍攝畫面的分辨率低下，幀數(shù)低下等等，對(duì)Megadetector的識(shí)別作業(yè)起到非常負(fù)面的影響。

在未來(lái)，Pytorch-Wildlife會(huì)支持更多種類的識(shí)別方式，比如鳥(niǎo)瞰圖、水下拍攝。這何嘗不是一種新的云養(yǎng)殖野生動(dòng)物的方法？

AI For Good

Pytorch-Wildlife屬于典型的AI For Good項(xiàng)目，這個(gè)概念由微軟提出，不過(guò)與其說(shuō)是概念，更像是一種倡議。它是指在推動(dòng)人工智能技術(shù)的發(fā)展與應(yīng)用，以解決全球性的社會(huì)、環(huán)境和經(jīng)濟(jì)挑戰(zhàn)，促進(jìn)可持續(xù)發(fā)展。這一理念鼓勵(lì)科研人員、企業(yè)、政府、非政府組織以及社會(huì)各界合作，利用人工智能的力量創(chuàng)造正面影響，確保技術(shù)進(jìn)步惠及全人類和地球生態(tài)。

不一定非得是動(dòng)物，其他類似的方式都可以算是AI For Good。例如，通過(guò)機(jī)器學(xué)習(xí)算法監(jiān)測(cè)森林砍伐、海洋污染、氣候變化和生物多樣性減少，以及開(kāi)發(fā)智能系統(tǒng)優(yōu)化資源利用和能源管理。

事實(shí)上，Pytorch-Wildlife的核心，Megadetector，幾乎沒(méi)有辦法復(fù)刻任何的商業(yè)途徑。但這個(gè)項(xiàng)目依然擁有足夠高的關(guān)注度，說(shuō)明人們關(guān)注AI，使用AI技術(shù)，眼里并不是只有它的商業(yè)化能力，而是如何去使用AI，來(lái)建設(shè)賴以生存的家園。當(dāng)然了，也有一部分人是沖著這個(gè)項(xiàng)目可以免費(fèi)看真正的野生動(dòng)物去的。

國(guó)內(nèi)也有不少AI公司著手于類似的項(xiàng)目，比如百度的“綠色伙伴計(jì)劃”，通過(guò)AI來(lái)減少碳排放。根據(jù)記錄，百度地圖“低碳計(jì)劃”全年累計(jì)訪問(wèn)量超過(guò) 4000 萬(wàn)人次，累計(jì)可減少碳排放量超 3800 噸。

還有騰訊的“自然風(fēng)險(xiǎn)評(píng)估”，應(yīng)用AI調(diào)優(yōu)技術(shù)，騰訊2023年當(dāng)年減少用電量約5000兆瓦時(shí)，避免碳排放2851.5噸。

文：火焰翼人?/?數(shù)據(jù)猿
責(zé)編：凝視深空?/?數(shù)據(jù)猿