第1章 方案簡介

1.1 行業(yè)痛點

在各種智慧城市、智慧社區(qū)、智慧水利、智慧礦山等數(shù)字孿生項目中，經(jīng)常使用通UE來開發(fā)三維可視化場景。在這些場景中通常都需要把現(xiàn)場的各種監(jiān)控視頻在UE的可視化場景中接入，主要包含海康威視、大華、宇視、華為等眾多監(jiān)控廠商的設(shè)備與平臺，監(jiān)控視頻流都是通過RTSP協(xié)議實時傳送。

但是，在UE中沒有好用的RTSP實時流播放插件，當(dāng)前僅有一款UMP播放插件（基于VLC播放器開發(fā)的，但是延時很大，通常在3秒以上），根本無法滿足實時播放的需要。比如遠(yuǎn)程指揮和應(yīng)急通信、搶險救災(zāi)等應(yīng)用，要求端到端延時在500ms以內(nèi)，否則基于這種過時的視頻信號做出的所有判斷和決定將帶來極其嚴(yán)重的后果，比如通過視頻遠(yuǎn)程操控?zé)o人機、遠(yuǎn)程操控?zé)o人駕駛車輛等。

部分安防監(jiān)控廠商也推出了視頻播放解決方案，比如?？档慕y(tǒng)一視頻監(jiān)控平臺可以輸出HLS的m3u8格式的網(wǎng)絡(luò)流，這種格式可以在H5瀏覽器中播放，嵌入到UE中調(diào)用CEF嵌入式瀏覽器播放時延時更大（通常在10秒以上），也遠(yuǎn)遠(yuǎn)無法滿足項目需求。

因此，行業(yè)內(nèi)急需一套成熟的低延時視頻接入解決方案，從而滿足基于UE開發(fā)的各種可視化平臺業(yè)務(wù)的需要。

第2章 解決方案實現(xiàn)

經(jīng)過十多年的流媒體技術(shù)研發(fā)積累和對當(dāng)前各種應(yīng)用場景的調(diào)研分析，北京順景科技有限公司歷時兩年多時間開發(fā)了一款通用的低延時視頻接入解決方案，我們采用B/S架構(gòu)方式來實現(xiàn)這個功能，該方案可以實現(xiàn)在終端H5瀏覽器中超低延時播放，端到端播放延時可以控制在500ms以內(nèi)，在UE中可以調(diào)用CEF實現(xiàn)嵌入式播放。實現(xiàn)效果如下：

2.1 技術(shù)架構(gòu)

首先，該方案基于多協(xié)議視頻轉(zhuǎn)碼技術(shù)和低延時流媒體直播發(fā)布技術(shù)來實現(xiàn)，整個方案的架構(gòu)如下：

2.2 功能模塊構(gòu)成

該方案主要由三部分組成，分別是低延時轉(zhuǎn)碼推流工作站、低延時流媒體發(fā)布服務(wù)器、低延時H5網(wǎng)頁播放器：
1. 低延時轉(zhuǎn)碼推流工作站
主要功能是將前端監(jiān)控攝像頭的RTSP網(wǎng)絡(luò)流拉取后進行實時轉(zhuǎn)碼，然后推送給低延時流媒體發(fā)布服務(wù)器。
該工作站根據(jù)不同的使用環(huán)境，可以采用軟件+PC架構(gòu)實現(xiàn)，也可以采用嵌入式低功耗設(shè)備實現(xiàn)（主要用于戶外場景不便于維護的場合）。

2. 低延時流媒體發(fā)布服務(wù)器
用于接收低延時轉(zhuǎn)碼推流工作站推送上來的視音頻信號，然后將其以流媒體的方式進行實時發(fā)布。
該平臺采用通用的硬件服務(wù)器+流媒體平臺軟件來實現(xiàn)，可以為用戶有效節(jié)省投資。
低延時流媒體發(fā)布服務(wù)器 可以實現(xiàn)如下功能：
1） 支持上千個網(wǎng)絡(luò)攝像頭的并發(fā)接入；
2） 支持PC、智能手機、等多終端設(shè)備通過H5瀏覽器直接播放；
3） 單臺服務(wù)器支持1000以上用戶并發(fā)收看；
4） 支持按需拉流轉(zhuǎn)發(fā)，從而節(jié)約服務(wù)器端的帶寬資源消耗；
5） 支持直播節(jié)目的同步錄制功能，錄制完成后可以自動生成點播內(nèi)容；
6） 支持服務(wù)器的性能和狀態(tài)監(jiān)控，包括CPU和內(nèi)存占用率、實時連接數(shù)、網(wǎng)絡(luò)帶寬占用等。
7） 多終端自動適配技術(shù)。
針對當(dāng)前主流的客戶端設(shè)備，我們開發(fā)了終端自適應(yīng)播放功能，可以自動適配PC端的主流瀏覽器（Fifrfox、Chrome、Safari），Android端的HTML5瀏覽器，iOS端的HTML5瀏覽器，微信小程序等。

3. 低延時H5 網(wǎng)頁播放器
該播放器主要用于實時接收流媒體服務(wù)器發(fā)布的直播流，然后將其以H5的方式進行實時解碼播放。該播放器經(jīng)過深度優(yōu)化設(shè)計，只緩沖1~2幀數(shù)據(jù)，具有快速接收和解碼能力。主要特性如下：
1） 接收和解碼延時極低，通常在40ms左右，最高不超過80ms；
2） 支持MSE硬件加速解碼；
3） 支持主流的瀏覽器，包括UE嵌入式CEF瀏覽器、Chrome、Edge、Fifrfox、Safari等；
4） 支持高清和VR視頻播放；
5） 可以適配多種操作系統(tǒng)終端，包括Windows系統(tǒng)、Linux系統(tǒng)、Android系統(tǒng)、iOS系統(tǒng)、國產(chǎn)信創(chuàng)系統(tǒng)（麒麟、統(tǒng)信等）；

2.3 方案效果

經(jīng)過大規(guī)模的應(yīng)用場景使用，當(dāng)前該系統(tǒng)可以達(dá)到如下效果：
在局域網(wǎng)和專網(wǎng)環(huán)境下，端到端的直播延時通常在300ms以內(nèi)；
在互聯(lián)網(wǎng)環(huán)境下，端到端的直播延時通常在500ms以內(nèi)；
在UE的CEF內(nèi)嵌式播放中，可以支持到4K@60FPS實時解碼，畫面播放流暢。

UE中的嵌入式播放效果
2.4 在線測試
我們搭建了一個公網(wǎng)的在線測試環(huán)境，感興趣的朋友可以通過該系統(tǒng)自行測試，
http://www.shunjingtech.com/xmms/pc.html