Vývoj a výučba zvuku a videa

Najprv predpokladáme, že niekto nemá nulové základy v oblasti zvuku a videa a nikdy sa nenaučil žiadne vedomosti týkajúce sa spracovania digitálneho signálu. Matematický základ je v podstate na strednej škole, ale je oboznámený s vývojom v C / C ++, prinajmenšom s kompiláciou a ladením IDE pod určitou platformou.

Zamerajte sa na dva open source projekty ffmpeg a webRTC, hlavne sa pozerajte na video časť ffmpeg a zvukovú časť webRTC.

Po prvé, začnite s dekódovaním videa. Toto je najjednoduchší. Základný kód na volanie dekódovania videa ffmpeg je iba asi 100 riadkov. Dekódovaniu videa stačí porozumieť h.264, 80% + scén je v tomto kódovacom formáte, rozumie základným konceptom H.264 sps pps NAL a ďalším koncepciám formátov súborov, rozumie princípu obrazového formátu YUV a konverzii YUV na RGB , Takže môžete robiť vykresľovanie obrázkov, môžete dosiahnuť jednoduchý videoprehrávač. (V zásade v prvej etape)

Ak sa chcete dozvedieť viac o kódovaní videa, odporúčame vám začať s kódom x264, jednoduché volanie kódu kódovania x264 je menej ako 100 riadkov. Kódovanie je komplikovanejšie ako dekódovanie, pretože dekódovanie nevyžaduje konfiguráciu žiadnych parametrov a kódovanie má veľké množstvo parametrov, ktoré je potrebné nakonfigurovať. Na začiatku stačí pochopiť niekoľko základných pojmov, ako napríklad snímková frekvencia, bežné metódy riadenia toku ABR CRF, GOP, I / B Čo znamená / P rámec. (Znovu oboznámený s kódovaním X264)

Kodek zvukovej časti je podobný videu. V počiatočnej fáze musíte porozumieť iba dvom kódovačom EAAC + a Silk, porozumieť konceptom zvukového kanála, vzorkovacej rýchlosti atď. A porozumieť formátu súborov Wave. Môže to byť jednoduchý zvukový prehrávač. (Vytvorte audioprehrávač)

Zložitou súčasťou zvuku nie je kodek, ale zvukový efekt. Zoznámte sa s modulom Audio Processing vo webRTC a pochopte nasledujúce koncepty: potlačenie šumu NS, potlačenie ozveny AEC, detekcia stlmenia zvuku VAD, automatické riadenie zisku AGC a zabudovaný webRTC. Aj keď algoritmus nie je najlepší, dokáže vyriešiť viac ako 90% problémov a stojí za to sa ho naučiť. (Naučte sa spracovanie zvuku webrtc)

Keď sa to naučím, musím premýšľať nad otázkou, či sa chcem vydať inžinierskou cestou alebo algoritmickou cestou. Ak je to algoritmický postup, musím sa naučiť matematiku. Za digitálnym spracovaním signálu stojí veľké množstvo základných matematických teórií. Ak sa jedná o inžiniersku cestu, musíte sa naučiť vývoj naprieč platformami, naučiť sa zhromažďovať, prehrávať a spracovávať zvuk a video na viacerých platformách a učiť sa optimalizáciu montážneho jazyka na viacerých platformách. (Súvisiace s platformou)

Audio a video sú veľmi hlboké polia a učenie sa nikdy nedokončíte za celý život, ale toto pole má výhodu v tom, že rýchlosť aktualizácie vedomostí je pomerne nízka, zistené veci nie je ľahké vylúčiť a hromadenie skúseností je veľmi dôležité.v