Význam kódovania videa
Veľký úložný priestor pre pôvodné videodáta, video s rozlíšením 1080P 7 s vyžaduje 817 MB
Originálny obrazový dátový prenos zaberá veľkú šírku pásma a prenos vyššie uvedených 11 s videí so šírkou pásma 7 Mbps trvá 10 minút.
Po kódovaní a kompresii H.264 je veľkosť videa iba 708 k a šírke pásma 10 Mb / s stačí iba 500 ms, čo zodpovedá požiadavkám na prenos v reálnom čase. Preto musí byť pôvodné video zhromaždené zo snímača snímania videa zakódované.
Základné
Prečo sa dá teda obrovské originálne video zakódovať do veľmi malého videa? Aká je technológia v tomto? Predtým, ako hovoríme o technológii, mali by sme najskôr vytvoriť koncept videa, ktorý je spojitým obrazom.
Základnou myšlienkou je odstránenie nadbytočných informácií:
Priestorová nadbytočnosť: medzi susednými pixelmi obrázka existuje silná korelácia
Časová redundancia: podobný obsah medzi susednými obrázkami vo videosekvencii
Redundancia kódovania: rôzne hodnoty pixelov majú rôznu pravdepodobnosť
Vizuálna redundancia: ľudský vizuálny systém nie je citlivý na určité detaily
Redundancia vedomostí: štruktúru pravidelnosti je možné získať z predchádzajúcich znalostí a základných znalostí
Video je v podstate séria obrázkov, ktoré sa prehrávajú nepretržite a rýchlo, takže najjednoduchší spôsob komprimácie videa je komprimácia každej snímky. Napríklad staršie kódovanie MJPEG je komprimovať každú snímku obrázkov vo videu. Táto metóda kódovania Existuje iba intrarámcové kódovanie, ktoré na kódovanie využíva predikciu priestorovej vzorky. Metaforou obrazu je zaobchádzať s každou snímkou ako s obrázkom a na jeho kompresiu použiť formát kódovania JPEG. Tento druh kódovania zohľadňuje iba kompresiu nadbytočných informácií na obrázku.
Avšak kvôli časovej korelácii medzi snímkami boli vyvinuté niektoré pokročilé kódovacie zariadenia, ktoré môžu používať medzisnímkové kódovanie. Jednoducho povedané, určité oblasti na ráme sa vyberú pomocou vyhľadávacieho algoritmu a potom sa vypočíta aktuálny rámec. Je to forma kódovania s vektorovým rozdielom medzi predným a zadným referenčným rámcom. Prostredníctvom nasledujúcich dvoch po sebe nasledujúcich snímok na obrázku 2 vidíme, že lyžiar sa posúva dopredu, ale v skutočnosti sa snehová scéna posúva dozadu a na rám P sa odkazuje, rámy (I alebo iné rámy P) možno kódovať, veľkosť po kódovaní je veľmi malý a kompresný pomer je veľmi vysoký.
Referenčný odkaz o rám http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Niektorých študentov môže zaujímať, ako tieto dva obrázky vznikli. Tu je potrebné dosiahnuť dva riadky príkazov FFmpeg. Viac podrobností o FFmpeg nájdete v nasledujúcich kapitolách:
Prvý riadok generuje video s pohyblivým vektorom
Druhý riadok zobrazuje každý rámec ako obrázok
Použite príkaz
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Okrem priestorovej redundancie a kompresie časovej redundancie existujú hlavne kódovacia kompresia a vizuálna kompresia. Toto je hlavný vývojový diagram kódovacieho zariadenia:
Obrázok 3 a obrázok 4 sú dva procesy. Obrázok 3 je kódovanie vnútri rámca a Obrázok 4 je kódovanie medzi rámcami. Na obrázku je vidieť hlavný rozdiel v tom, že prvý krok je iný. V skutočnosti sú tieto dva procesy tiež kombinované. Všeobecne povedané, rámec I a rámec P používajú intrarámcové kódovanie, respektíve medzisnímkové kódovanie.
Výber kódovača
Vyriešil som princíp a základný postup kódovacieho zariadenia. Kodér zažil desaťročia vývoja. Vyvinul sa z podpory iba kódovania v rámci snímok k novej generácii kódovačov, ktorú dnes zastupujú H.265 a VP9. V súčasnosti sú analyzované niektoré bežné kódovacie zariadenia a my vás prevedieme svetom kódovacích zariadení.
H.264
úvod
Zámerom projektu H.264 / AVC je vytvoriť štandard videa. V porovnaní so starým štandardom môže poskytovať vysokokvalitné video s menšou šírkou pásma (inými slovami, iba s polovičnou šírkou pásma MPEG-2, H.263 alebo MPEG-4, časť 2 alebo menej) bez toho, aby spôsoboval príliš veľkú zložitosť návrhu. je nemožné dosiahnuť alebo sú náklady na implementáciu príliš vysoké. Ďalším účelom je poskytnúť dostatočnú flexibilitu na použitie v rôznych aplikáciách, sieťach a systémoch, vrátane vysokej a nízkej šírky pásma, vysokého a nízkeho rozlíšenia videa, vysielania, ukladania DVD, sietí RTP / IP a multimediálneho telefónneho systému ITU-T.
H.264 / AVC obsahuje sériu nových funkcií, vďaka ktorým je nielen efektívnejší ako predchádzajúce kodeky, ale dá sa použiť aj v aplikáciách v rôznych sieťových prostrediach. Vďaka tomuto technickému základu sa H.264 stáva hlavným kodekom používaným online video spoločnosťami vrátane YouTube, ale jeho použitie nie je veľmi ľahká úloha. Teoreticky si použitie H.264 vyžaduje veľa peňazí. Patentové poplatky.
Patentová licencia
Rovnako ako prvá a druhá časť MPEG-2 a druhá časť MPEG-4, musia aj výrobcovia produktov a poskytovatelia služieb, ktorí používajú H.264 / AVC, platiť držiteľom patentových poplatkov poplatky za patent. Hlavným zdrojom týchto patentových licencií je súkromná organizácia s názvom MPEG-LA LLC. Táto organizácia nemá nič spoločné s organizáciou pre štandardizáciu MPEG, ale spravuje aj systém MPEG-2 časť jedna, video časť druhá a MPEG-4 časť jedna. Dvojdielne licencie na video a ďalšie technologické patenty.
O ďalšie patentové licencie je potrebné požiadať inú súkromnú organizáciu s názvom VIA Licensing, ktorá tiež spravuje patentové licencie pre štandardy kompresie zvuku, ako sú MPEG-2 AAC a MPEG-4 Audio.
Open source implementácia H.264
openh264 je program kódovania H.264 otvoreného zdroja implementovaný spoločnosťou Cisco. Aj keď H.264 vyžaduje vysoký patentový poplatok, existuje každoročný limit na patentový poplatok. Potom, čo spoločnosť Cisco zaplatí ročný poplatok za patent za OpenH264, je OpenH264 v skutočnosti bezplatný. Používajte ho slobodne.
x264 je bezplatný softvér na kódovanie videa s licenciou GPL. Hlavnou funkciou x264 je vykonávanie kódovania videa H.264 / MPEG-4 AVC, nie ako dekodér.
Okrem problému s nákladmi na porovnanie:
Využitie procesora openh264 je oveľa nižšie ako v prípade x264
openh264 podporuje iba základný profil, x264 podporuje viac profilov
HEVC / H.265
úvod
High Efficiency Video Coding (HEVC) je štandard kompresie videa (tiež nazývaný H.265), ktorý sa považuje za nástupcu štandardu ITU-T H.264 / MPEG-4 AVC. V roku 2004 sa skupina ISO / IEC Moving Picture Experts Group (MPEG) a ITU-T Video Coding Experts Group (VCEG) začala rozvíjať ako ISO / IEC 23008-2 MPEG-H časť 2 alebo ITU-T H.265. Prvá verzia štandardu kompresie videa HEVC / H.265 bola prijatá ako oficiálny štandard Medzinárodnej telekomunikačnej únie (ITU-T) 13. apríla 2013. Za HEVC sa považuje nielen zlepšenie kvality videa, ale aj dosiahnutie dvojnásobného výsledku. kompresný pomer H.264 / MPEG-4 AVC (ekvivalent 50% zníženia bitovej rýchlosti pri rovnakej kvalite obrazu) a podporuje rozlíšenie 4K a dokonca aj televíziu s ultravysokým rozlíšením (UHDTV), najvyššie rozlíšenie dosiahnuť 8192 × 4320 (rozlíšenie 8K).
Patentová licencia
HEVC vyžaduje od všetkých výrobcov obsahu, ktorí používajú technológiu H.265, vrátane Apple, YouTube, Netflix, Facebook a Amazon, aby zaplatili 0.5% zo svojich výnosov z obsahu ako poplatok za použitie technológie. Celý trh so streamovacími médiami dosahuje každý rok asi 100 miliárd dolárov a naďalej pokračuje. V raste je poplatok vo výške 0.5% určite obrovský poplatok. A nepustili ani výrobcov zariadení, medzi ktorými musia výrobcovia televízorov platiť patentové poplatky 1.5 USD za jednotku a výrobcovia mobilných zariadení 0.8 USD za jednotku. Nepustili ani výrobcov, ako sú prehrávače diskov Blu-ray, herné konzoly a videorekordéry, ktorí musia zaplatiť každý po 1.1 dolára.
Open source implementácia H.265 / HEVC
libde265 HEVC poskytuje společnost struktur pod licenciou open source GNPL Lesser General Public License (LGPL) a diváci si môžu vychutnať obrázky v najvyššej kvalite pri nižšej rýchlosti internetu. V porovnaní s predchádzajúcimi dekodérmi založenými na štandarde H.264 dokáže dekodér libde265 HEVC priniesť váš obsah Full HD až na dvojnásobok publika alebo znížiť šírku pásma potrebnú na streamovanie o 50%.
x265 je vyvinutý spoločnosťou MulticoreWare a je otvorený na základe dohody GPL.
VP8
úvod
VP8 je otvorený kompresný formát videa, ktorý najskôr vyvinula spoločnosť On2 Technologies a potom ho vydala spoločnosť Google. Google súčasne vydal aj implementačnú knižnicu kódovanú VP8: libvpx, ktorá bola vydaná vo forme licenčných podmienok BSD a následne pridala právo na používanie patentu. Po niekoľkých argumentoch bola autorizácia VP8 nakoniec potvrdená ako autorizácia otvoreného zdroja.
V súčasnosti sú webovými prehľadávačmi, ktoré podporujú VP8, Opera, Firefox a Chrome.
Patentová licencia
V marci 2013 spoločnosť Google dosiahla dohodu s MPEG LA a 11 držiteľmi patentov, ktorá spoločnosti Google umožní získať VP8 a jeho predchádzajúce VPx a ďalšie kódovania, ktoré môžu byť porušené na patentoch. Google môže zároveň bezplatne znova autorizovať súvisiace patenty používateľom VP8. , Táto dohoda je vhodná aj pre budúcu generáciu kódovania VPx. Spoločnosť MPEG LA sa doposiaľ vzdala vytvorenia licenčnej aliancie centralizovanej na patent VP8 a používatelia VP8 sa budú môcť rozhodnúť bezplatne používať tento kód bez obáv z možných licenčných poplatkov za porušenie patentov.
Open source implementácia VP8
Libvpx je jediná implementácia VP8 v otvorenom zdroji. Bol vyvinutý spoločnosťou On2 Technologies. Po tom, čo ho spoločnosť Google získala, otvorila svoj zdrojový kód. Licencia je veľmi voľná a dá sa voľne používať.
VP9
úvod
Vývoj VP9 sa začal v treťom štvrťroku 2011. Cieľom je zmenšiť veľkosť súboru o 50% v porovnaní s kódovaním VP8 pri rovnakej kvalite obrazu. Ďalším cieľom je prekonať HEVC kódovanie v efektivite kódovania.
13. decembra 2012 pridal prehliadač Chromium podporu pre kódovanie VP9. Prehliadač Chrome začal podporovať prehrávanie videa kódovaného VP9 21. februára 2013.
Google oznámil, že vývoj kódu VP9 ukončí 17. júna 2013, kedy bude prehliadač Chrome podľa pokynov viesť kód VP9. 18. marca 2014 pridala Mozilla do prehliadača Firefox podporu VP9.
3. apríla 2015 vydal Google libvpx1.4.0, ktorý pridal podporu pre 10-bitovú a 12-bitovú bitovú hĺbku, vzorkovanie chroma 4: 2: 2 a 4: 4: 4 a viacjadrové kódovanie / dekódovanie VP9.
Patentová licencia
VP9 je otvorený formát na šifrovanie videa bez poplatkov.
Open source implementácia VP9
libvpx je jediná otvorená implementácia VP9, vyvinutá a udržiavaná spoločnosťou Google. Niektoré z kódov sú zdieľané VP8 a VP9 a zvyšok sú implementácie kodekov VP8 a VP9.
Porovnanie VP9 a H.264 a HEVC
Porovnanie HEVC a H.264 pri rôznych rozlíšeniach
V porovnaní s H.264 / MPEG-4 je priemerné zníženie bitovej rýchlosti HEVC:
Je vidieť, že bitová rýchlosť poklesla o viac ako 60%
HEVC (H.265) má väčšiu výhodu v úspore bitovej rýchlosti pre VP9 a H.264, keď pri rovnakom PSNR ušetrí 48.3% a 75.8%
H.264 má obrovskú výhodu v kódovaní času. V porovnaní s VP9 a HEVC (H.265) je HEVC šesťkrát vyšší ako v prípade VP6 a VP9 je takmer 9-násobný v porovnaní s H.40.
