隨著超高清視頻、直播短視頻、元宇宙、全景視頻、AIGC視頻生成、監(jiān)控安防等應(yīng)用視頻領(lǐng)域的迅速發(fā)展，音視頻產(chǎn)業(yè)正迎來了前所未有的黃金時(shí)代，而視頻壓縮（視頻編碼）技術(shù)作為視頻產(chǎn)業(yè)的技術(shù)基礎(chǔ)，是整個(gè)未來視頻大數(shù)據(jù)時(shí)代的技術(shù)制高點(diǎn)。本文將對(duì)視頻編解碼技術(shù)進(jìn)行簡(jiǎn)要說明以及對(duì)當(dāng)前主流的視頻編碼技術(shù)標(biāo)準(zhǔn)進(jìn)行介紹并對(duì)其性能進(jìn)行對(duì)比分析，期冀為未來視頻編碼技術(shù)方案選型提供參考

1. 視頻內(nèi)容本質(zhì)

視頻是由一系列的連續(xù)圖像幀序列組成，圖像幀的連續(xù)播放則呈現(xiàn)出動(dòng)態(tài)影像(見Fig_1)。所謂視頻壓縮即視頻編碼技術(shù)，其目的是通過壓縮算法來去除視頻信息中的冗余，達(dá)到減少視頻文件空間占用的效果。比如監(jiān)控?cái)z像頭經(jīng)過采集后生成原始視頻，不經(jīng)視頻壓縮編碼處理，其源視頻數(shù)據(jù)量非常龐大，在進(jìn)行傳輸和存儲(chǔ)時(shí)，帶寬通道和存儲(chǔ)設(shè)備無法對(duì)如此巨大的數(shù)據(jù)量進(jìn)行有效支撐（見Fig_2），因此需要將源數(shù)據(jù)進(jìn)行視頻壓縮編碼處理。

Fig_1連續(xù)視頻幀

Fig_2 視頻采集編碼和視頻重壓縮技術(shù)示范

2. 視頻業(yè)務(wù)流程

區(qū)別于傳視頻處理流程（見Fig_3），智能流程加入了更多人工智能處理技術(shù)，是的視頻的呈現(xiàn)方式出現(xiàn)了多元化的變化，除了最初的屏幕呈現(xiàn)外，數(shù)字孿生，智能化應(yīng)用，虛擬現(xiàn)實(shí)等場(chǎng)景變化對(duì)視頻最終呈現(xiàn)形式提出了更高的要求，也推動(dòng)著視頻產(chǎn)業(yè)進(jìn)入新的發(fā)展階段，并廣泛應(yīng)用于視頻通信、遠(yuǎn)程醫(yī)療、智能制造、智能安防、廣電傳媒等諸多行業(yè)中。視頻編碼技術(shù)的蓬勃發(fā)展和視頻多元化應(yīng)用需求推動(dòng)整個(gè)視頻產(chǎn)業(yè)鏈的重大變革，然而目前視頻編碼技術(shù)發(fā)展仍然滯后于視頻發(fā)展的需求，推動(dòng)視頻技術(shù)迭代更新仍是整個(gè)產(chǎn)業(yè)的迫切需求。

Fig_3 視頻業(yè)務(wù)流程說明圖（傳統(tǒng)流程VS.智能流程）

3. 視頻產(chǎn)業(yè)鏈

視頻產(chǎn)業(yè)鏈由元器件層，設(shè)備層，服務(wù)層和應(yīng)用層組成（如Fig_4）。元器件層包括顯示面板，光學(xué)器件，圖像傳感器，鏡頭等等元器件以及存儲(chǔ)芯片、圖像處理、視頻編碼芯片，處理器芯片、以太網(wǎng)口、PHY等，是整個(gè)視頻產(chǎn)業(yè)的基礎(chǔ)支撐。設(shè)備層包括4G/WiFi等無線、有線寬帶、衛(wèi)星傳輸?shù)染W(wǎng)絡(luò)傳輸設(shè)備以及手機(jī)/PC/平板、NVR/解碼器、TV/機(jī)頂盒、投影顯示、VR/AR頭顯等終端呈現(xiàn)設(shè)備。服務(wù)層包括視頻云服務(wù)、視頻方案服務(wù)、安全服務(wù)、增值服務(wù)、集成服務(wù)等，服務(wù)層是視頻產(chǎn)業(yè)鏈的核心環(huán)節(jié)，也是國(guó)內(nèi)各大廠商競(jìng)爭(zhēng)最激烈的行業(yè)，根據(jù)服務(wù)的提供方式可分為服務(wù)提供與方案自研兩大類。應(yīng)用層的細(xì)分場(chǎng)景是視頻產(chǎn)業(yè)鏈的生命力所在，目前已經(jīng)滲透到廣播電視、監(jiān)控安防、教育辦公、醫(yī)療健康、智能交通、智能制造等諸多行業(yè)中，基于該領(lǐng)域的創(chuàng)新是千行百業(yè)數(shù)字化轉(zhuǎn)型的重要賦能力量。

Fig_4 視頻產(chǎn)業(yè)鏈結(jié)構(gòu)圖

4. 視頻壓縮本質(zhì)

視頻數(shù)據(jù)之所以能夠內(nèi)編碼壓縮是因?yàn)橐曨l數(shù)據(jù)中存在大量信息冗余，視頻本質(zhì)是連續(xù)的圖像幀序列，由于人眼的短暫停留效應(yīng)產(chǎn)生了運(yùn)動(dòng)感，連續(xù)圖像幀之間相似度極高，存在大量的信息冗余。而通過算法去除數(shù)字化視頻數(shù)據(jù)中信息冗余，以最精簡(jiǎn)的方式予以表達(dá)的過程即為視頻編碼。

空間冗余：視頻圖像在水平方向相鄰像素之間、垂直方向相近像素之間的差別很小，具有較高的相似度；

時(shí)間冗余：視頻中相鄰幀之間存在很多相似的圖像序列，可利用幀之間的相似性進(jìn)行壓縮來減少存儲(chǔ)空間；

空間冗余和時(shí)間冗余是視頻編碼中最常見的信息冗余，特別是在靜止場(chǎng)景或緩慢移動(dòng)的場(chǎng)景中，編碼過程中可以通過運(yùn)動(dòng)估計(jì)、時(shí)間預(yù)測(cè)和變換編碼等技術(shù)來去除。

信息熵冗余：人們用于表達(dá)某一信息所需要的比特?cái)?shù)總比理論上表示該信息所需要的最少比特?cái)?shù)要大，我們可以根據(jù)不同像素的出現(xiàn)概率不同，概率高的像素分配較少字節(jié)，概率低則分配較多的字節(jié)；

視覺冗余：人的視覺系統(tǒng)對(duì)于某些細(xì)節(jié)信息的感知能力是有限的，例如在低分辨率或低幀率的情況下，人眼無法分辨某些細(xì)節(jié)。編碼時(shí)可以一定程度舍棄這部分信息冗余，而幾乎不影響人眼視覺效果。

數(shù)據(jù)冗余：在視頻數(shù)據(jù)中，可能存在一些數(shù)據(jù)冗余，例如在某些場(chǎng)景中，物體的顏色或紋理等屬性是固定的，可以通過對(duì)這些屬性進(jìn)行編碼來減少數(shù)據(jù)冗余。

5. 視覺效果概念

隨著電子信息技術(shù)的快速發(fā)展，視頻的呈現(xiàn)形式和視覺效果也出現(xiàn)了多元化變化，從開始標(biāo)清，高清，全高清發(fā)展到藍(lán)光、超高清，另外對(duì)視頻幀率、色域、色位深也提出了更高要求。

Tab_1 圖像清晰度定義

6. 有損壓縮和無損壓縮

有損壓縮：解碼還原出來的圖像/視頻/語音和原始文件會(huì)存在部分信息丟失或被替換的壓縮方式。由于有損壓縮往往壓縮的部分是人類視覺感知不明顯的區(qū)域，壓縮比相對(duì)較高，能夠很好適應(yīng)當(dāng)前的網(wǎng)絡(luò)傳輸和存儲(chǔ)現(xiàn)狀，被廣泛用于互聯(lián)網(wǎng)、安防、教育等行業(yè)。 目前我們?cè)诨ヂ?lián)網(wǎng)和安防領(lǐng)域看到的絕大部分視頻圖像文件（JPEG/JPG/WebP等）和視頻文件（H.264/HEVC/AVS）都是有損壓縮范圍。

無損壓縮：解碼還原出來的圖像/視頻/語音文件和原始文件完全一致。無損壓縮通常用于需要保留原始文件質(zhì)量的情況下，應(yīng)用范圍較窄，僅適用于醫(yī)學(xué)圖像（DCM）、遙感圖像（TiFF）、高清圖像處理（BMP，PNG）等少數(shù)領(lǐng)域。

Fig_5 圖像壓縮展示

7. 模擬視頻和數(shù)字視頻

模擬信號(hào)是指用可連續(xù)變化的物理量所表達(dá)的信息，在特定范圍內(nèi)有無數(shù)多個(gè)連續(xù)取值。而數(shù)字信號(hào)則在取值上是離散的、不連續(xù)的信號(hào)。模擬信號(hào)信息密度比數(shù)字信號(hào)更高，不存在量化失真，能夠真實(shí)物理量盡可能逼近的表達(dá)。

Fig_6 模擬和數(shù)字信號(hào)表達(dá)

（圖左為模擬信號(hào)表達(dá)，圖右為數(shù)字信號(hào)表達(dá)）

模擬視頻則是由連續(xù)的模擬信號(hào)組成的圖像視頻，是一種隨著時(shí)間變化連續(xù)的電信號(hào)。在早期我們接觸到視頻影響資料都是模擬視頻，由于其不適宜進(jìn)行長(zhǎng)期存放，難以多次復(fù)制，且圖像信號(hào)強(qiáng)度會(huì)隨著時(shí)間遷移而逐漸衰減，難以保持原有圖像視頻畫質(zhì)而逐漸倍淘汰。

數(shù)字視頻：以數(shù)字形式記錄的視頻，可以通過攝像頭直接采集得到的數(shù)字信號(hào)，數(shù)字視頻可進(jìn)行無數(shù)次復(fù)制而不失真，可長(zhǎng)期存放，并可以對(duì)視頻進(jìn)行非線性編輯處理等優(yōu)點(diǎn)而成為當(dāng)前視頻最主流形式。

作者：賈春華 ?

裕瀚科技產(chǎn)品總監(jiān)，多項(xiàng)發(fā)明專利，多次從0到1主持或深度參與B端產(chǎn)品開發(fā)和設(shè)計(jì)經(jīng)驗(yàn)，10+年視頻安防技術(shù)和產(chǎn)品經(jīng)驗(yàn)。