《常見視頻編碼格式與RGB、YUV視頻存儲格式》由會員分享，可在線閱讀，更多相關《常見視頻編碼格式與RGB、YUV視頻存儲格式（22頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、TCC8900VPU分析 常見視頻編解碼格式及RGB和YUV存儲格式預研 文檔修訂記錄 版本 時間 修訂者| 修訂內容 1.0 2011-3-27 劉文龍 創(chuàng)建文檔: 每次修改與增加內容者，需在文檔修訂記錄中進行記錄常見視頻編解碼格式 1視頻文件類別 常言道：物以類聚，人以群分。視頻文件也不例外，細細算起來，視頻文件可以分成兩大類：其一是影像文件，比如說常見的VCD便是一例。其二是流式 視頻文件，這是隨著國際互聯(lián)網(wǎng)的發(fā)展而誕生的后起視頻之秀，比如說在線實況 轉播，就是構架在流式視頻技術之上的。 1.1影像格式 日常生活中接觸較多的VCD多媒體C

2、D光盤中的動畫,,這些都是影像文件。影像文件不僅包含了大量圖像信息，同時還容納大量音頻信息。所以，影像 文件的“身材”往往不可小覷。 1) AVI格式 2) MOV格式 3) MPEG/MPG/DAT格式 1.2流式視頻格式 目前，很多視頻數(shù)據(jù)要求通過Internet來進行實時傳輸，前面我們曾提及到，視頻文件的體積往往比較大，而現(xiàn)有的網(wǎng)絡帶寬卻往往比較“狹窄”，千軍萬馬要過獨木橋，其結果當然可想而知?？陀^因素限制了視頻數(shù)據(jù)的實時傳輸和實時播放，于是一種新型的流式視頻(StreamingVideo)格式應運而生了。這種流式視頻采用一種“邊傳邊播”的方法，即先從服務器上下載一部分視頻文

3、件，形成視頻流緩沖區(qū)后實時播放，同時繼續(xù)下載，為接下來的播放做好準備。這種“邊傳邊播”的方法避免了用戶必須等待整個文件從Internet上全部下載完畢才能觀看的缺點。至怕前為止，Internet上使用較多的流式視頻格式主要是以下三種： 1) RM(RealMedia)格式 RM格式是RealNetworks公司開發(fā)的一種新型流式視頻文件格式，它麾下共有三員大將：RealAudioRealVideo和RealFlashRealAudio用來傳輸接近CD音質的音頻數(shù)據(jù)，RealVideo用來傳輸連續(xù)視頻數(shù)據(jù)，而RealFlash則是RealNetworks公司與Macromedia公司新近合作

4、推出的一種高壓縮比的動畫格式。RealMedia可以根據(jù)網(wǎng)絡數(shù)據(jù)傳輸速率的不同制定了不同的壓縮比率，從而實現(xiàn)在低速率的廣域網(wǎng)上進行影像數(shù)據(jù)的實時傳送和實時播放。這里我們主要介紹RealVideo，它除了可以以普通的視頻文件形式播放之外，還可以與RealServer服務器相配合，首先由RealEncoder負責將已有的視頻文件實時轉換成RealMedia格式，RealServer則負責廣播RealMedia視頻文件。在數(shù)據(jù)傳輸過程中可以邊下載邊由RealPlayer播放視頻影像，而不必像大多數(shù)視頻文件那樣，必須先下載然后才能播放。目前，Internet上已有不少網(wǎng)站利用RealVideo技術進行

5、重大事件的實況轉播。 2) MOV文件格式(QuickTime) MOV也可以作為一種流文件格式。QuickTime能夠通過Internet提供實時的數(shù)字化信息流、工作流與文件回放功能，為了適應這一網(wǎng)絡多媒體應用，QuickTime為多種流行的瀏覽器軟件提供了相應的QuickTimeViewer插件(Plug-in),能夠在瀏覽器中實現(xiàn)多媒體數(shù)據(jù)的實時回放。該插件的“快速啟動(FastStart)”功能，可以令用戶幾乎能在發(fā)出請求的同時便收看到第一幀視頻畫面，而且，該插件可以在視頻數(shù)據(jù)下載的同時就開始播放視頻圖像，用戶不需要等到全部下載完畢就能進行欣賞。此外，QuickTime還提供了自動

6、速率選擇功能，當用戶通過調用插件來播放QuickTime多媒體文件時，能夠自己選擇不同的連接速率下載并播放影像，當然，不同的速率對應著不同的圖像質量。此外，QuickTime還采用了一種稱為QuickTimeVR的虛擬現(xiàn)實(VR,VirtualReality)技術，用戶只需通過鼠標或鍵盤，就可以觀察某一地點周圍360度的景象，或者從空間任何角度觀察某一物體。 3) ASF(AdvaneedStreamingForma格式 Microsoft公司推出的AdvaneedStreamingFormat(ASF高級流格式)，也是一個在Internet上實時傳播多媒體的技術標準，Microsoft公

7、司的野心很大，希圖用ASF取代QuickTime之類的技術標準。ASF的主要優(yōu)點包括：本地或網(wǎng)絡回放、可擴充的媒體類型、部件下載、以及擴展性等。ASF應用的主要部件是NetShow服務器和NetShow播放器。有獨立的編碼器將媒體信息編譯成ASF流，然后發(fā)送到NetShow服務器，再由NetShow服務器將ASF流發(fā)送給網(wǎng)絡上的所有NetShow播放器，從而實現(xiàn)單路廣播或多路廣播。這和Real系統(tǒng)的實時轉播則是大同小異。 2常見的視頻的編碼及封裝格式2.1常見視頻編碼格式 常見的編碼格式有H.264、H.263、MPEG-、1MPEG-2、MPE、G4、SorensonSpark、VC-1

8、、JPEG、RV、DivX、On2TrueMotionVP6。對于高清視頻來說，主流的編碼技術目前主要有MPEG-2DivX、XVIDH264/AVGVC-1、RMVB和WMV-HD等等。其中，H264/AVCVC-1、MPEG-2是藍光(Blu-rayDisc”所選擇的編碼格式，也是目前最流行的高清視頻編碼格式。另外就是高清視頻的封裝格式，封裝格式和編碼格式是互相區(qū)別的，許多人會把它們混淆。 下圖為常見編碼格式的logo： KM 圖1.1常見編碼格式logo 1）H264/X264/AVC編碼格式 絕大多數(shù)視聽玩家對于H264編碼都不會感到陌生，H264編碼的身世顯赫，是ITU

9、-T（國際電信聯(lián)盟視頻編碼專家組）與ISO/IEC（國際標準化組織動態(tài)圖像專家組）合作組成的JVT（聯(lián)合視頻組）推動的新一代數(shù)字視頻編碼標準，也稱為MPEG-4/AVC編碼。H264編碼依托雄厚的背景，在技術上獨樹一幟，大幅領先于其它編碼算法。 X264編碼，是H264編碼的一個開源分支，它符合H264標準，其功能在于編碼，而不作為解碼器使用，X264編碼最大的特點在于注重實用，它在不明顯降低編碼性能的前提下，努力降低編碼的計算復雜度，X264對于H264編碼中的一些復雜編碼特性做了折衷處理，其壓縮視頻體積小于XVID（MPEG-4編碼視頻，以小體積、高畫質的特點得到了廣泛認可。 2）H.

10、263編碼格式 H.263是國際電聯(lián)ITU-T的一個標準草案，是為低碼流通信而設計的。 但實際上這個標準可用在很寬的碼流范圍，而非只用于低碼流應用，它在許多應用中可以認為被用于取代H.261。H.263的編碼算法與H.261—樣，但做了一些改善和改變，以提高性能和糾錯能力。 1998年IUT-T推出的H.263+是H.263建議的第2版，它提供了12個新的可協(xié)商模式和其他特征，進一步提高了壓縮編碼性能。女口H.263只有5種視頻源格式，H.263+允許使用更多的源格式，圖像時鐘頻率也有多種選擇，拓寬應用范圍；另一重要的改進是可擴展性，它允許多顯示率、多速率及多分辨率，增強了視頻信息在易誤

11、碼、易丟包異構網(wǎng)絡環(huán)境下的傳輸。另外，H.263+對H.263中的不受限運動矢量模式進行了改進，加上12個新增的可選模式，不僅提高了編碼性能，而且增強了應用的靈活性。H.263已經(jīng)基本上取代了H.2613）MPEG-1編碼格式 MPEG-1是MPEG&織制定的第一個視頻和音頻有損壓縮標準。視頻壓縮算法于1990年定義完成。1992年底，MPEG-正式被批準成為國際標準。MPEG-是為CD光碟介質定制的的視頻和音頻壓縮格式。一張70分鐘的CD光碟傳輸速率大約在1.4Mbps。而MPEG-采用了塊方式的運動補償、離散馀弦變換（DCT）、量化等技術，并為1.2Mbps傳輸速率進行了優(yōu)化。MPEG-

12、隨后被VideoCD采用作為核心技術。MPEG-的輸出質量大約和傳統(tǒng)錄像機VCR信號質量相當，這也許是VideoCD在發(fā)達國家未獲成功的原因。 4) MPEG-2編碼格式 MPEG-2編碼標準是由MPEG(MovingPictureExpertsGroup)工作組發(fā)布的視頻與音頻壓縮國際標準。MPEG-2編碼于1994年發(fā)布，常用于廣播信號(衛(wèi)星電視、有線電視)的視頻和音頻編碼，經(jīng)過后期不斷修改，不僅成為DVD的核心技術，還應用于HDTV高清電視傳輸。 5) MPEG-4編碼格式 MPEG于1998年11月公布，原預計1999年1月投入使用的國際標準MPEG4不僅是針對一定比特率下的視

13、頻、音頻編碼，更加注重多媒體系統(tǒng)的交互性和靈活性。MPEG-標準主要應用于視像電話(VideoPhone)，視像電子郵件(VideoEmail)和電子新聞(ElectronicNews)等，其傳輸速率要求較低，在4800-64000bits/sec之間，分辨率為176X144MPEG-4利用很窄的帶寬，通過幀重建技術，壓縮和傳輸數(shù)據(jù)，以求以最少的數(shù)據(jù)獲得最佳的圖像質量。 6) SorensenSpark編碼格式 Sorenson編解碼器可以指三個專有的視頻編解碼器：Sorenson視頻，Sorenson視頻3或SorensonSpark。Sorenson視頻也被稱為Sorenson視頻編解

14、碼器，Sorenson視頻量化或SVQSorensonSpark也被稱為H.263或FLV1Sorenson(而且有時誤為Flash視頻(FLV)，這是以AdobeFlash容器格式名稱命名)。這兩種編解碼器的設計由Sorenson媒體公司。Sorenson視頻是用在蘋果的QuickTime和SorensonSpark在用在AdobeFlash容器中。 7) VC-1編碼格式 WM(WindowsMediaVideo)作為經(jīng)久不衰的一種視頻編碼，一直在不斷改進，2003年，微軟基于WMV第九版(WMV9編碼技術，正式提出了VC-1編碼標準，并于2006年正式成為國際標準。VC-1編碼作為較

15、晚推出的高清編碼算法，自然吸收了MPEG-2與H264編碼的優(yōu)點，其壓縮比介于MPEG2和H264之間，編解碼復雜性僅有H264的一半，即壓縮時間更短、解碼計算更小，在微軟的大力推動下，VC-1編碼已經(jīng)得到了BD藍光光盤、電影及電視學會(SMPTE的支持。 近幾年來，為了更好的推廣WMV9/VC-1編碼標準，微軟不遺余力的建立了WMV-HDI清資源站點，大量發(fā)布采用VC-1編碼壓制的720P、1080P宣傳片及演示片(WMV-HDS頻格式)，試圖營造聲勢，吸引用戶關注。不過，中庸的技術(與H264相比無明顯編碼優(yōu)勢)、圭寸閉的平臺(限于Windows系統(tǒng))、后發(fā)的劣勢（2006年通過成為國際

16、標準）仍然給微軟VC-1編碼的應用前景帶來了較大的不確定性。 8）JPEG編碼格式 JPEG是JointPhotographicExpertsGroup（聯(lián)合圖像專家小組））的縮寫。JPEG的壓縮方式通常是破壞性資料壓縮（lossycompression），意即在壓縮過程中圖像的品質會遭受到可見的破壞，有一種以JPEG為基礎的標準ProgressiveJPEG是采用無失真的壓縮方式，但ProgressiveJPEG并沒有受到廣泛的支援。 9）RV編碼格式 RealVideo格式文件包括后綴名為RARMRAMRMVB勺四種視頻格式。RealVideo是一種高壓縮比的視頻格式，可以使用任何

17、一種常用于多媒體及Web上制作視頻的方法來創(chuàng)建RealVideo文件。例如Premiere、VideoShop以及AfterEffects等，對于文件的播放可用realplayer和暴風影音播放。 10）DivX編碼格式 DivX格式，這是由MPEG4衍生出的另一種視頻編碼（壓縮）標準，也即我們通常所說的DVDrip格式，它采用了MPEG的壓縮算法同時又綜合了MPEG-4TMP3各方面的技術，說白了就是使用DivX壓縮技術對DVD盤片的視頻圖像進行高質量壓縮，同時用MP3或AC3對音頻進行壓縮，然后再將視頻與音頻合成并加上相應的外掛字幕文件而形成的視頻格式。其畫質直逼DVD并且體積只有DV

18、D的數(shù)分之一。這種編碼對機器的要求也不高，所以DivX視頻編碼技術可以說是一種對DVD造成威脅最大的新生視頻壓縮格式，號稱DVD殺手或DVD終結者。 11）0n2TrueMotionVP6編碼格式 0n2TrueMotionVP6是主要的移動視頻標準，他采用了AdobeFlashLite?3的一些標準，數(shù)以百計的網(wǎng)絡門戶，用戶自己制作的內容，以及社交網(wǎng)絡普遍采用基于Flash的VP6格式。 2.2視頻的封裝格式 封裝格式其實是一個“容器”，它不同于編碼格式，封裝就相當于捆綁打包，將已經(jīng)編碼好的視頻文件和音軌文件打包在一起，并按照一定規(guī)則建立排序和索引，便于播放器或播放軟件來索引播放。常

19、見的封裝格式有MKVAVI、MOVTS、PS等等，高清媒體文件的后綴名（擴展文件名）一般都是媒體的封裝格式。 MaTpeuiKamatroskavttcjQuickTime （1）MOV格式：MOV多見于AppleQuickTime網(wǎng)站上的電影預告片。MOV類似于RMVB過于封閉自守，民間制作組沒有人會用這個不方便的形式。 （2）AVI格式：AVI封裝是微軟在上世紀90年代初創(chuàng)立的封裝標準，是當時為對抗QuickTime的MOV格式而推出的，因為當時還沒有流式播放需要，AVI的將索引布置在打包文件的尾部，這就使得AVI封裝不能做到流式播放（流媒體）。AVI封裝只能支持有限的幾種視頻音頻編

20、碼形式，且AVI不能支持音頻的VBR動態(tài)比特率編碼。 （3）TS格式：TS（TransportStream）是一種比較先進的封裝形式，藍光原盤中，就采用了TS封裝。TS封裝支持幾乎所有編碼的高清視頻和音軌文件。PS（ProgramStream）封裝的技術基本和TS相同，但PS封裝和AVI一樣，都不是流媒體，不能夠支持流式播放，PS封裝使用在原先的HDDVD中。在高清標準下，MPEG-2編碼的視頻文件主要采用TS封裝格式。 （4）MKV格式：MK（Matroska）是一種新興的多媒體封裝格式，可以將各類視頻編碼、16條或以上不同格式的音頻和語言不同的字幕封裝在一個文件內，它具有開放源代碼、音

21、視頻編碼豐富、網(wǎng)絡親和性好等優(yōu)勢，已經(jīng)得到眾多視頻壓制組和玩家的支持，正逐漸成為高清視頻的主流視頻格式。H264編碼與X264編碼目前大多采用MKV封裝格式。 3視頻的播放組件及調用流程 視頻文件的解碼過程如下依次需要用到的組件有“分離器”、“解碼器”、“渲染器”，它們統(tǒng)稱為“濾鏡”。 3.1分離器（Splitter） 要正確地播放多媒體文件，播放器首先要正確地調用分離器，把視頻流和（或）音頻流正確地分離出來，然后交給解碼器進行解碼，這就是分離器的使命。上文中說到有不少的封裝格式，每一種封裝格式都必須有相對應一種分離器，才能正確的把視頻和音頻分離出來以供解碼器解碼。 常用的分離器有：

22、 GabestMPEGSplitter（MediaPlayerClassic作者編寫的分離器）、KMPSplitter（KMPlayer原配的分離器）HailiMediaSplitter 這三種分離器能夠支持較多的封裝格式，其它的分離器還有Moonlight-ElecardMPEG2Demultiplexer（月光分離器）、 nVIDIATransportDemux（nVIDIA公司的分離器，配合PureVideo使用）、 3.2 CyberLinkDemux（PowerDVD軟件中的分離器）解碼器（Decoder） 解碼器在整個視頻的播放中占據(jù)了最主要的位置，它的作用是對由分離器分

23、離出來的音頻流和視頻流分別進行解碼。解碼器又分為視頻解碼器和音頻解碼器。 常見的視頻解碼器有： 1）MPEG-2視頻解碼器InterVideoVideoDecoder（WinDVD的解碼器）CyberLinkDTVVideo/SPFilterCyberLinkVideo/SPFilter（PowerDVD的解碼器）Moonlight-ElecardMPEG2VideoDecodernVIDIAVideoDecoder（nVIDIAPureVideo的解碼器）SonicCinemasterVideo、GabestVideoDecoder2）H264/X264/AVC視頻解碼器CyberLin

24、kH.264/AVCDecoder（PowerDVD的解碼器）、CoreAVCDirectShowVideoDecoderMoonlightH264VideoDecoderffdshowMPEG-4VideoDecoder3）VC-1視頻解碼器 CyberLinkVC-1Deocder（PowerDVD的解碼器）、MediaPlayerClassicVideoDecoder、WMVideoDecoderDM（微軟的解碼器）等等。 常見的音頻解碼器有： CyberLinkAudioDecoder（PowerDVD的解碼器）AC3Filter 3.3 InterVideoAudioDeco

25、dernVIDIAAudioDecoder渲染器（Renderer） 渲染器與解碼器一樣，分為視頻渲染器和音頻渲染器，解碼后的視頻數(shù)據(jù)經(jīng)過視頻渲染器的渲染后呈現(xiàn)到顯示設備上，解碼后的音頻經(jīng)過音頻渲染器的渲染后從聲卡輸出。渲染在視頻播放的過程中是很重要的，因為它會影響到視頻最終的效果，不同的渲染器有不同的技術特性，對電腦的配置（主要是CPU和顯卡）的要求也不一樣。 視頻渲染器主要有以下幾種： 1）舊式視頻渲染器（VideoRenderer）： 這種是最原始的渲染器，它接收到來自解碼器解碼后的數(shù)據(jù)流，在顯示設備上顯示。這種渲染器基本上不能調用到顯卡硬件特性，全靠CPU來完成渲染任務。 2

26、）覆蓋合成器（OverlayMixer）： 覆蓋合成器能夠將若干路視頻流合并輸出到顯示設備上，并且它能夠很好地調用顯卡硬件的拉伸，顏色空間變換等硬件功能，以減少對CPU資源的占用率。視頻覆蓋的畫面質量事實上取決于顯卡硬件。通常在使用覆蓋合成器的時候無法直接對正在播放的視頻截圖。 3) VMR渲染器(VideoMixingRenderer): VMR對覆蓋合成器進行了改進，它是基于DirectX的視頻渲染器，能夠支持16路的視頻流混合。VMR根據(jù)DirectX版本的不同，可以分為VMR7和VMR9其中VMR7基于DirectDraw7(2D,而VMR9基于Direct3D9(3D),VMR

27、9可以支持視頻特效(VideoEffects)和視頻變換(VideoTransitions)。VMR根據(jù)渲染模式的不同又分為“窗口化”(Windowed、“無窗口” (Windowless)、“未渲染”(Renderless)模式。 EVR增強型視頻渲染器(EnhancedVideoRenderer)微軟在WindowsVista系統(tǒng)就開始引入的新視頻渲染器，當然也包含在新的操作系統(tǒng)Windows7中。它與VMR最大的區(qū)別就是能夠支持DXVA2.0。 二、RGB和YUV視頻存儲格式 視頻數(shù)據(jù)，圖像數(shù)據(jù)在存儲中的存儲格式主要有RGB和YUV。RGB是多媒體數(shù)據(jù)進行數(shù)據(jù)存儲采用的主流格式；

28、YUV格式所需存儲空間一般是RGB格式存儲空間的一半，所以YUV格式主要用于多媒體數(shù)據(jù)傳輸中。 1RGB視頻存儲格式 1.1 RGB既述 計算機彩色顯示器顯示色彩的原理與彩色電視機一樣，都是采用R(Red)、G(Green)、B(Blue)相加混色的原理：通過發(fā)射出三種不同強度的電子束，使屏幕內側覆蓋的紅、綠、藍磷光材料發(fā)光而產生色彩。這種色彩的表示方法稱為RGB色彩空間表示。 根據(jù)三基色原理，任意一種色光F都可以用不同分量的R、G、B三色相加混合而成。 F=r[R]+g[G]+b[B] 其中，r、g、b分別為三基色參與混合的系數(shù)。當三基色分量都為0(最弱)時混合為黑色光；而當三基

29、色分量都為k(最強)時混合為白色光。調整r、g、b三個系數(shù)的值，可以混合出介于黑色光和白色光之間的各種各樣的色光。 1.2常見的RGB格式RGB的GUID(globallyuniqueidentifier全球唯一標識符)格式描述描述如下表所示： 表2.1RGB的GUID描述 RGB的GUID描述符 描述符說明 MEDIASUBTYPERGB12 每個像素用1位表示，需要調色板 MEDIASUBTYPERGB4 每個像素用4位表示，需要調色板 16 MEDIASUBTYPE_RGB8 256 每個像素用8位表示，需要調色板 MEDIASUBTYPE_RGB565

30、 每個像素用16位表示，RGB分量分別使用5位、6位、5位 MEDIASUBTYPE_RGB555 每個像素用16位表示，RGB分量都使用5位（剩下的1位不用） MEDIASUBTYPERGB24 每個像素用24位表示，RGB分量各使用8位 MEDIASUBTYPE_RGB32 每個像素用32位表示，RGB分量各使用8位（剩下的8位不用） MEDIASUBTYPE_ARGB32 每個像素用32位表示，RGB分量各使用8位（剩下的8位用于表示Alpha通道值） 1.3各種RGB格式介紹 RGB1、RGB4RGB8都是調色板類型的RGB格式，在描述這些媒體類型的格式細節(jié)時

31、，通常會在BITMAPINFOHEADE數(shù)據(jù)結構后面跟著一個調色板（定義一系列顏色）。它們的圖像數(shù)據(jù)并不是真正的顏色值，而是當前像素顏色值在調色板中的索引。 1）RGB1 以RGB1（2色位圖）為例，比如它的調色板中定義的兩種顏色值依次為0x000000（黑色）和OxFFFFFR白色），那么圖像數(shù)據(jù)001101010111,（每個像素用1位表示）表示對應各像素的顏色為：黑黑白白黑白黑白黑白白白， 2）RGB565 RGB565使用16位表示一個像素，這16位中的5位用于R,6位用于G，5位用于B。程序中通常使用一個字（WORD,—個字等于兩個字節(jié)）來操作一個像素。當讀出一個像素后，這個

32、字的各個位意義如下： 高字節(jié)低字節(jié) RRRRRGGGGGGBBBBB 可以組合使用屏蔽字和移位操作來得到RGB各分量的值： #defineRGB565_MASK_RED0xF800 #defineRGB565_MASK_GREEN0x07E0 #defineRGB565_MASK_BLUE0x001F R=（wPixel&RGB565_MASK_RED）>>11;取值范圍0-31 G=（wPixel&RGB565_MASK_GREEN）>>5;取值范圍0-63 B=wPixel&RGB565_MASK_BLUE;取值范圍0-31 3）RGB555 RGB555是另一種16

33、位的RGB格式，RGB分量都用5位表示（剩下的1位不用）。使用一個字讀出一個像素后，這個字的各個位意義如下： 高字節(jié)低字節(jié) XRRRRGGGGGBBBB（0C表示不用，可以忽略）可以組合使用屏蔽字和移位操作來得到RGB各分量的值： #defineRGB555_MASK_RED0x7C00 #defineRGB555_MASK_GREEN0x03E0 #defineRGB555_MASK_BLUE0x001F R=（wPixel&RGB555_MASK_RED）>>10;取//值范圍0-31 G=（wPixel&RGB555_MASK_GREEN）>>5;取//值范圍0-31 B

34、=wPixel&RGB555_MASK_BLUE;取//值范圍0-314）RGB24 RGB24使用24位來表示一個像素，RGB分量都用8位表示，取值范圍為0-255。注意在內存中RGB各分量的排列順序為：BGRBGRBGR,。通?？梢允褂肦GBTRIPL數(shù)據(jù)結構來操作一個像素，它的定義為： typedefstructtagRGBTRIPLE{ BYTErgbtBlue;//藍色分量 BYTErgbtGreen;//綠色分量 BYTErgbtRed;//紅色分量 }RGBTRIPLE;5）RGB32 RGB32使用32位來表示一個像素，RGB分量各用去8位，剩下的8位用作Alph

35、a通道或者不用。（ARGB32就是帶Alpha通道的RGB32）注意在內存中RGB各分量的排列順序為：BGRABGRABGRA通?？梢允褂肦GBQUAD數(shù)據(jù)結構來操作一個像素，它的定義為： typedefstructtagRGBQUAD{ BYTErgbBlue;//藍色分量 BYTErgbGreen;//綠色分量 BYTErgbRed;//紅色分量 BYTErgbReserved;〃保留字節(jié)（用作Alpha通道或忽略） 2.1 }RGBQUAD;2YUV視頻存儲格式YUV概述 在現(xiàn)代彩色電視系統(tǒng)中，通常采用三管彩色攝像機或彩色CCD攝像機進行攝像，然后把攝得的彩色圖像信號經(jīng)分色

36、、分別放大校正后得到RGB再經(jīng)過矩陣變換電路得到亮度信號丫和兩個色差信號R-Y（即U）、B—Y（即V），最后發(fā)送端將亮度和色差三個信號分別進行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示） 采用YUV色彩空間的重要性是它的亮度信號丫和色度信號U、V是分離的）如果只有丫信號分量而沒有U、V分量，那么這樣表示的圖像就是黑白灰度圖像）彩色電視采用YUV空間正是為了用亮度信號丫解決彩色電視機與黑白電視機的兼容問題，使黑白電視機也能接收彩色電視信號。 本文講述的格式全部使用每個像素位置8位的方式來編碼Y頻道（也稱為燈光頻道），并使用每樣例8位的方式來編碼每個U或V色度樣例

37、。但是，大多數(shù)YUV格式平均使用的每像素位數(shù)都少于24位，這是因為它們包含的U和V樣例比Y樣例要少。 注在本文中，U一詞相當于Cb,V一詞相當于Cr。 2.2常見YUV的格式在DirectShow中，常見的YUV格式有YUY2YUYVYVYUUYVYAYUVY41PY411、Y211、IF09IYUVYV12YVU9YUV411、YUV420等。作為視頻媒體類型的輔助說明類型(Subtype)，它們對應的GUID(GloballyUniqueIdentifier)如下表所示。 表2.2YUV的GUID描述 YUV的GUID描述符 描述符說明 MEDIASUBTYPEYUY2YUY2

38、 以4:2:2方式打包 MEDIASUBTYPEYUYVYUYV 實際格式與YUY2相同 MEDIASUBTYPEYVYUYVYU 以4:2:2方式打包 MEDIASUBTYPEUYVYUYVY 以4:2:2方式打包 MEDIASUBTYPEAYUVAYUV Alpha通道的4:4:4YUV格式 MEDIASUBTYPEY41PY41P 以4:1:1方式打包 MEDIASUBTYPEY411Y411 實際格式與丫41P相同 MEDIASUBTYPEY211Y211 MEDIASUBTYPE_IF09IF09格式 MEDIASUBTYPE_IYUVIYUV

39、格式 MEDIASUBTYPE_YV12YV12 格式 MEDIASUBTYPE_YVU9YVU9 格式 2.3YUV主要采樣格式 主要的采樣格式有YCbCr4:2:0YCbCr4:2:2YCbCr4:1:1和YCbCr4:4:4其中YCbCr4:1:1比較常用，其含義為：每個點保存一個8bit的亮度值(也就是丫 值)，每2x2個點保存一個Cr和Cb值,圖像在肉眼中的感覺不會起太大的變化。所以，原來用RGB(RG，B都是8bitunsigned)模型，1個點需要8x3=24bits，若4:4:4按采樣后，YUV仍各占8bit。按4:1:1采樣后，而現(xiàn)在一個點平均僅需要

40、8+(8/4)+(8/4)=12bits。這樣就把圖像的數(shù)據(jù)壓縮了一半。 YUV的優(yōu)點之一是，色度頻道的采樣率可比Y頻道低，同時不會明顯降低視覺質量。有一種表示法可用來描述U和V與丫的采樣頻率比例，這個表示法稱為A:B:C表示法： *4:4:4：表示色度頻道沒有下采樣* 4:2:2：表示2:1的水平下采樣, V樣例，每個掃描行都包含四個 * 4:2:0：表示2:1的水平下采樣, * 4:1:1：表示4:1的水平下采樣, 沒有垂直下采樣。對于每兩個U樣例或丫樣例。 2:1的垂直下采樣。 1) 沒有垂直下采樣。對于每個U樣例或V樣例，每個掃描行都包含四個丫樣例YUV采樣格式圖示YU

41、V4:4:4采樣 下圖顯示了4:4:4圖片中使用的采樣網(wǎng)格。燈光樣例用叉來表示，色度樣例則用圈表示。 g岡0 ?0d 圖2.1YUV4:4:4樣例位置 2) YUV4:2:2采樣 4:2:2采樣的這種主要形式在ITU-RRecommendationBT.601中進行了定義。圖2.1顯示了此標準定義的采樣網(wǎng)格。 區(qū) X X X X X X X X 圖2 .2YUV4 :2:2樣例 IJ位置 3) YUV4:2:0采樣 4:2:0采樣有兩種常見的變化形式。其中一種形式用于MPEG-2視頻，另一種形式用于MPEG-1以及ITU-T

42、recommendationsH.261和H.263o圖2.3顯示了MPEG-1方案中使用的采樣網(wǎng)格，圖2.4顯示了MPEG-2方案中使用的采樣網(wǎng)格。 XXXXx)xx)xoQ*XXX 圖2.3YUV4:2:0樣例位置（MPEG-1方案）sxsx xxx>d 圖2.4YUV4:2:0樣例位置（MPEG-2方案） 與MPEG-1方案相比，在MPEG-2方案與為4:2:2和4:4:4格式定義的采樣網(wǎng)格之間進行轉換更簡單一些。因此，在Windows中首選MPEG-2方案，應該考慮將其作為4:2:0格式的默認轉換方案。 存儲方式本文講述推薦用于視頻呈現(xiàn)的8位YUV格式。這些格式可以分為幾個

43、類別： 4:4:4格式，每像素32位 ?4:2:2格式，每像素16位 *4:2:0格式，每像素16位4:2:0格式，每像素12位 首先，理解下列概念，這樣才能理解接下來的內容： 表面原點：對于本文講述的YUV格式，原點（0,0）總是位于表面的左上角。 ?跨距：表面的跨距，有時也稱為間距，指的是表面的寬度，以字節(jié)數(shù)表示。對于一個表面原點位于左上角的表面來說，跨距總是正數(shù)。 ?對齊：表面的對齊是根據(jù)圖形顯示驅動程序的不同而定的。表面始終應該DWORD對齊，就是說，表面中的各個行肯定都是從32位（DWORD）邊界開始的。對齊可以大于32位，但具體取決于硬件的需求。 ?打包格式與平面格

44、式：YUV格式可以分為打包格式和平面格式。在打包格式中，Y、U和V組件存儲在一個數(shù)組中。像素被組織到了一些巨像素組中，巨像素組的布局取決于格式。在平面格式中，Y、U和V組件作為三個單獨的平面進行存儲。 1）4:4:4格式，每像素32位 推薦一個4:4:4格式，F(xiàn)OURCC碼為AYUV這是一個打包格式，其中每個像素都被編碼為四個連續(xù)字節(jié)，其組織順序如下所示。 Increasingrnemory VO uo YD At) V1 U1 Y1 A1 V2 U2 Y2 A2 圖2.5AYUV內存布局標記了

45、A的字節(jié)包含alpha的值。 2）4:2:2格式，每像素16位 支持兩個4:2:2格式，F(xiàn)OURCC碼如下： YUY2 ?UYVY 兩個都是打包格式，其中每個巨像素都是編碼為四個連續(xù)字節(jié)的兩個像素。這樣會使得色度水平下采樣乘以系數(shù)2。 YUY2 在YUY2格式中，數(shù)據(jù)可被視為一個不帶正負號的char值組成的數(shù)組，其中第一個字節(jié)包含第一個丫樣例，第二個字節(jié)包含第一個U(Cb)樣例，第三個字節(jié)包含第二個丫樣例，第四個字節(jié)包含第一個V(Cr)樣例，如圖2.6所示。 ricnismionryg|in|]VP|va|in]口卜1]||uz卜廿]w] 圖2.6YUY2內存布局 如果該圖

46、像被看作由兩個little-endianWORD值組成的數(shù)組，則第一個WORD在最低有效位(LSB)中包含Y0,在最高有效位(MSB)中包含U。第二個WORD在LSB中包含Y1,在MSB中包含V。 YUY2是用于MicrosoftDirectX?VideoAcceleration(DirectXVA)的首選4:2:2像素格式。預期它會成為支持4:2:2視頻的DirectXVA加速器的中期要求。 UYVY 此格式與YUY2相同，只是字節(jié)順序是與之相反的一就是說，色度字節(jié)和燈光字節(jié)是翻轉的(圖7)。如果該圖像被看作由兩個little-endianWORD值組成的數(shù)組，則第一個WORD在LSB

47、中包含U,在MSB中包含Y0,第二個WORD在LSB中包含V,在MSB中包含Y1。 ncnnwmonf uo WOY1 l - - 圖2.7UYVY內存布局3)4:2:0格式，每像素16位推薦兩個4:2:0每像素16位格式，F(xiàn)OURCC碼如下： ?IMC1IMC3兩個FOURCC碼都是平面格式。色度頻道在水平方向和垂直方向上都要以系數(shù)2來進行再次采樣。 IMC1 所有丫樣例都會作為不帶正負號的char值組成的數(shù)組首先顯示在內存中。后面跟著所有V(Cr)樣例，然后是所有U(Cb)樣例。V和U平面與丫平面具有相同的跨距，從而生成如

48、圖2.8所示的內存的未使用區(qū)域。 V0 Y1 Y2 ￥3 W VI 1 LJQ U1 8 圖2.8IMC1內存布局 IMC3 此格式與IMC1相同，只是U和V平面進行了交換: indAiungnienwMdr?39? VQVI ￥2￥□ U0U1 圖9.IMC3內存布局4)4:2:0格式，每像素12位 推薦四個4:2:0每像素12位格式，F(xiàn)OURCC碼如下： IMC2 ? IMC4 ? YV12 ? NV12 在所有這些格式中，色度頻道在水平方向和垂直方向

49、上都要以系數(shù)2來進行再次采樣。 IMC2 此格式與IMC1相同，只是V(Cr)和U(Cb)行在半跨距邊界處進行了交錯。換句話說，就是色度區(qū)域中的每個完整跨距行都以一行V樣例開始，然后是一行在下一個半跨距邊界處開始的U樣例。此布局與IMC1相比，能夠更加高效地利用地址空間。它的色度地址空間縮小了一半，因此整體地址空間縮小了25%。在各個4:2:0格式中，IMC2是第二首選格式，排在NV12之后。 IMC4 此格式與IMC2相同，只是U(Cb)和V(Cr)行進行了交換: YV12 所有丫樣例都會作為不帶正負號的char值組成的數(shù)組首先顯示在內存中。此數(shù)組后面緊接著所有V

50、(Cr)樣例。V平面的跨距為丫平面跨距的一半，V平面包含的行為丫平面包含行的一半。V平面后面緊接著所有U(Cb)樣例，它的跨距和行數(shù)與V平面相同(圖12)。 NV12所有丫樣例都會作為由不帶正負號的char值組成的數(shù)組首先顯示在內存中， 并且行數(shù)為偶數(shù)。丫平面后面緊接著一個由不帶正負號的char值組成的數(shù)組， 其中包含了打包的U(Cb)和V(Cr)樣例，如圖2.13所示。當組合的U-V數(shù)組被視為一個由little-endianWORD值組成的數(shù)組時，LSB包含U值，MSB包含V 值。NV12是用于DirectXVA的首選4:2:0像素格式。預期它會成為支持4:2:0視頻的Dir

51、ectXVA加速器的中期要求。 Y0 Y'l ￥2 ￥3 LIO VO V1 3 圖2.13NV12內存布局YCbCr視頻存儲格式 YCbCr其中Y是指亮度分量，Cb指藍色色度分量，而Cr指紅色色度分量。人的肉眼對視頻的Y分量更敏感，因此在通過對色度分量進行子采樣來減少色度分量后，肉眼將察覺不到的圖像質量的變化。主要的子采樣格式有YCbCr4:2:0>YCbCr4:2:2和YCbCr4:4:4。 4:2:0表示每4個像素有4個亮度分量，2個色度分量(YYYYCbCr)，僅采樣奇數(shù)掃描線，是便攜式視頻設備(MPEG-4)以及電視會議(H.2

52、63)最常用格式。 4：2：2表示每4個像素有4個亮度分量，4個色度分量(YYYYCbCrCbCr)，是DVD、數(shù)字電視、HDTV以及其它消費類視頻設備的最常用格式。 4：4:4表示全像素點陣(YYYYCbCrCbCrCbCrCbCr)，用于高質量視頻應用、演播室以及專業(yè)視頻產品。 YUV與YCbCr的對比4.1兩者與rgb之間換算公式的差異yuv<__>rgb Y'=0.299*R'+0.587*G'+0.114*B' U'=-0.147*R'-0.289*G'+0.436*B'=0.492*(B'-Y') V'=0.615*R'-0.515*G'-0.100*B'=0.877*

53、(R'-Y') R'= :Y'+1.140*V' G'= :Y'-0.394*U'-0.581*V' B'= :Y'+2.032*U' yCbCrv- I ->rgb Y' 0.257*R'+ 0.504*G'+0.098*B'+ 16 Cb' =-0.148*R' -0.291*G'+0.439*B' +128 Cr': =0.439*R'- 0.368*G'-0.071*B'+ 128 R'= ：1.164*(Y-16)+1.596*(Cr'-128) 4.2兩者來源上的差異 YUV色彩模型來源于RGB模型。 該模

54、型的特點是將亮度和色度分離開，從而適合于圖像處理領域。顏色模型用于模擬彩色電視廣播。 YCbC模型來源于YUV模型。 YCbC是一個的YUV色彩空間縮放和偏移的版本應用：數(shù)字視頻，ITU-RBT.601T推薦標準。 5顏色空間和色度采樣率轉換 本節(jié)提供了在YUV和RGB之間進行轉換的指南，以及在某些不同YUV格式之間進行轉換的指南。在本節(jié)中，我們會以兩個RGB編碼方案為例：8位計算機RGB和studio視頻RGB前者也稱為sRGB或全范圍”RGJB后者也稱為帶有頭空間和腳空間的RGB。這兩個方案的定義如下： 計算機RGB對于每個紅色、綠色和藍色樣例都使用8位。黑色表示為R=G=B=0

55、白色則表示為R=G=B=255 ?Studio視頻RGB對于每個紅色、綠色和藍色樣例使用一定的位數(shù)，即N位，其中N為8或更大的數(shù)字。Studio視頻RGB使用的縮放系數(shù)與計算機RGB使用的縮放系數(shù)不同，它具有一個偏移量。黑色表示為R=G=B=16*2n-8，白色則表示為R=G=B=235*2-8。但是，實際的值可能不在此范圍之內。 Studio視頻RGB是Windows中視頻的首選RGB定義，而計算機RGB貝U是非視頻應用的首選RGB定義。在這兩種形式的RGB中，色度座標都與在RGB原色定義的ITU-RBT.709中指定的一樣。R、G和B的(x,y)座標分別為(0.64,0.33)、(0.

56、30,0.60)和(0.15,0.06)?；鶞拾咨珵镈65，座標為(0.3127,0.3290)。標稱灰度系數(shù)為1/0.45(大約為2.2)，精確的灰度系數(shù)在ITU-RBT.709中進行了詳細定義。 5.1RGB和YUV之間的轉換 我們首先講述RGB和4:4:4YUV之間的轉換。要將4:2:0或4:2:2YUV轉換為RGB我們建議首先將YUV數(shù)據(jù)轉換為4:4:4YUV然后再將4:4:4YUV轉換為RGBAYUV格式是一個4:4:4格式，它對于每個Y、U和V樣例都使用8位。對于某些應用，還可以使用每樣例多于8位的位數(shù)定義YUV。 對于數(shù)字視頻，定義了從RGB到兩個主要YUV的轉換。這兩個轉

57、換都基于稱為ITU-RRecommendationBT.709的規(guī)范。第一個轉換是BT.709中定義用于50-Hz的較早的YUV格式。它與在ITU-RRecommendationBT.60仲指定的關系相同，ITU-RRecommendationBT.601也被稱為它的舊名稱CCIR601這種格式應該被視為用于標準定義TV分辨率(720x576)和更低分辨率視頻的首選YUV格式。它的特征由下面兩個常量Kr和Kb的值來定義： Kr=0.299 Kb=0.114 第二個轉換為BT.709中定義用于60-Hz的較新YUV格式，應該被視為用于高于SDTV的視頻分辨率的首選格式。它的特征由下面兩個不

58、同的常量值來定義： Kr=0.2126 Kb=0.0722 從RGB到YUV轉換的定義以下列內容開始： L=Kr*R+Kb*B+(-Kr-Kb)*G 然后，按照下列方式獲得YUV值： Y =floor(2A(M-8)*(219*(L送)/S+16)+0.5) U=clip3(0,2AM-1,floor(2A(M-8)*(112*(B-L)/((1-Kb)*S)+128)+0.5)) V =clip3(0,2AM-1,floor(2A(M-8)*(112*(R-L)/((1-Kr)*S)+128)+0.5)) 其中 ? M為每個YUV樣例的位數(shù)(M>=8)。 ?Z為黑電平變

59、量。對于計算機RGBZ等于0。對于studio視頻RGBZ等于16*2n-8，其中N為每個RGB樣例的位數(shù)(N>=8)。 ? S為縮放變量。對于計算機RGBS等于255。對于studio視頻RGBS等于219*2n-8。 函數(shù)floor(x)返回大于或等于x的最大整數(shù)。函數(shù)clip3(x,y,z)的定義如下所示： clip3(x,y,z)=((zy)?y:z)) Y樣例表示亮度，U和V樣例分別表示偏向藍色和紅色的顏色偏差。丫的標稱范圍為16*2M-8到235*2m-8。黑色表示為16*2m-8，白色表示為235*2M-8。U和V的標稱范圍為16*2M-8到240*2

60、m-8，值128*2M-8表示中性色度。但是，實際的值可能不在這些范圍之內。 對于studio視頻RGB形式的輸入數(shù)據(jù)，要使得U和V值保持在0到2M-1范圍之內，必需進行剪輯操作。如果輸入為計算機RGB則不需要剪輯操作，這是因為轉換公式不會生成超出此范圍的值。 這些都是精確的公式，沒有近似值。本文后面的所有內容均派生自這些公式。 示例：將RGB888轉換為YUV4:4:4 ? 示例：將8位YUV轉換為RGB888 ? 將4:2:0YUV轉換為4:2:2YUV 將4:2:2YUV轉換為4:4:4YUV將4:2:0YUV轉換為4:4:4YUV示例：將RGB888轉換為YUV4:4:4

61、 在輸入為計算機RGB,輸出為8位BT.601YUV的情況下，我們相信前面一節(jié)中給出的公式可以按照下列公式進行合理近似計算： Y =((66*R+129*G+25*B+128)>>8)+16 U=((-38*R-74*G+112*B+128)>>8)+128 V =((112*R-94*G-18*B+128)>>8)+128 這些公式使用精確度不大于8位(不帶正負號)的系數(shù)計算出8位結果。 中間結果需要最多16位的精確度。 示例：將8位YUV轉換為RGB888 從原始的RGB到YUV公式，您可以為YUV的8位BT.601定義派生出下列關系： Y=round(0.256788*R

62、+0.504129*G+0.097906*B)+16 U=round(-0.148223*R-0.290993*G+0.439216*B)+128 V=round(0.439216*R-0.367788*G-0.071427*B)+128因此，假設： C=Y-16 D=U-128 E=V-128 將YUV轉換為計算機RGB的公式可以按照下列方式進行派生： R=clip(round(1.164383*C+1.596027*E)) G=clip(round(1.164383*C-(0.391762*D)-(0.812968*E))) B=clip(round(1.164383*C

63、+2.017232*D)) 其中clip()表示剪輯為范圍[0..255]。這些公式可以由下列公式進行合理近似計算： R=clip((298*C+409*E+128)>>8) G=clip((298*C-100*D-208*E+128)>>8) B=clip((298*C+516*D+128)>>8) 這些公式使用精確度必需大于8位的一些系數(shù)計算出每個8位結果，中間結果需要多于16位的精確度。 1) 5.2YUV空間內的轉換將4:2:0YUV轉換為4:2:2YUV 將4:2:0YUV轉換為4:2:2YUV需要系數(shù)為2的垂直上轉換。本節(jié)講述了一個執(zhí)行上轉換的方法示例。該方法假設視頻

64、圖片為逐行掃描。 注4:2:0到4:2:2隔行掃描轉換過程會出現(xiàn)不常見的問題，難以實現(xiàn)。本文不會對轉換從4:2:0到4:2:2的隔行掃描時出現(xiàn)的問題進行解決。 讓輸入色度樣例的每個垂直行都成為一個數(shù)組Cin[],其范圍為從0到N-1。輸出圖像上相應的垂直行則會成為數(shù)組Cout[],其范圍為從0到2N-1。要轉換每個垂直行，請執(zhí)行下列過程： Cout[0]=Cin[0]; Cout[1]=clip((9*(Cin[0]+Cin[1])—(Cin[0]+Cin[2])+8)>>4); Cout[2]=Cin[1]; Cout[3]=clip((9*(Cin[1]+Cin[2])-(Ci

65、n[0]+Cin[3])+8)>>4); Cout[4]=Cin[2] Cout[5]=clip((9*(Cin[2]+Cin[3])-(Cin[1]+Cin[4])+8)>>4); Cout[2*i]=Cin[i] Cout[2*i+1]=clip((9*(Cin[i]+Cin[i+1])-(Cin[i-1]+Cin[i+2])+8)>>4); Cout[2*N-3]=clip((9*(Cin[N-2]+Cin[N-1])-(Cin[N-3]+Cin[N-1])+8)>>4);Cout[2*N-2]=Cin[N-1]; Cout[2*N-1]=clip((9*(Cin[N-1]+

66、Cin[N-1])-(Cin[N-2]+Cin[N-1])+8)>>4);其中clip()表示剪輯范圍為[0..255]。 注用于處理邊緣的等式在計算上可以進行簡化。這些等式以這種形式顯示,是為了說明圖片邊緣的附著效果 實際上，這種方法會通過在四個相鄰像素上插入曲線，并趨向兩個最近的像素值進行加權，來計算每個缺少的值（圖2.14）。此示例中使用的這個特定插入方法使用一個眾所周知的方法來計算半整數(shù)位置缺少的樣例，這個方法稱為Catmull-Rom 插入，也稱為立方回旋插入。 Firs]Une =*(A+a)j-(a-+c>aj>=*4 =(A+D)+31心4-a9*(C*D?-(B+E}+0)?4 =(f9*(D*E?-(C+F)4fl)24 [Ariditiainalil|pe?..I■(f9*(R?S))-(Q+S)>8)?4 LgsjUne =(円T(S+SH-(R+SJ+8)?-=■4圖2.14.4:2:0到4:2:2上采樣 對于信號處理過程，理想情況下，垂直上轉換應該包括一個相移補償，以將4:2:0樣例行位置和每隔一個4:2:2