跳至主要內容

13.音视频基础

约 335 字大约 1 分钟

常见视频格式

H264 H265

常见音频格式

ACC
mp3

视频通话过程

=====  采集
    第一步.采集视频、音频
        格式:
            YUV 格式
                YUV420 (I420/YV12):一种常见的格式,Y 分量(亮度)独立存储,U 和 V 分量(色度)分别以 2x2 的子采样率存储。I420 和 YV12 的区别在于 U 和 V 分量的存储顺序不同。
                YUV422 (YUY2/YUYV/UYVY):每两个像素共享一个 U 和一个 V 分量。常用于视频采集和传输,能够在保持较好图像质量的同时减少数据量。
                YUV444:每个像素都有独立的 Y、U 和 V 分量,通常用于高质量图像处理,但数据量较大。
            RGB 格式
                RGB24:每个像素用 24 位表示,分别是 8 位的红色、绿色和蓝色。数据量较大,但没有色度抽样,图像质量高。
                ARGB/RGBA:每个像素用 32 位表示,除了 RGB 之外,还包含一个 8 位的 Alpha 通道。
                
    第二步.压缩视频、音频 ( 编码 )
        视频: H.264 、 H.265  
        音频: acc 、 mp3
        字幕: 
    
    第三步.封装成包, 将视频、音频、字幕打一个数据包
        格式: mp4、 avi 、.....




=====  网络传输
    底层协议: udp tcp
    应用层协议: rtmp rtsp webrtc 








=====  播放
    1.拆包
    2.解压(解码)
    3.