Question

五：RGB & YUV 颜色编码

Answer 1

RGB 和 YUV 都是色彩空间模型。

RGB颜色编码格式，是指每种颜色都可以用（红，绿，蓝）三种原色来表示，将RGB分别取不同的值，会展示不同的颜色。

用RGB表示的图像中，每个像素点都有红、绿、蓝三个原色，每种颜色都占用8 bit，即一个字节，所以一个像素点占用24bit，即3个字节。

当有一张 1280 * 720 大小的图片时，该图片中有 1280 * 720个像素点，其中每个像素点都采用RGB编码格式，那么这张图片就会占用1280 * 720 * 3 / 1024 / 1024 = 2.63MB的存储空间。

YUV 颜色编码采用的是明亮度和色度来指定像素的颜色，其中Y表示明亮度（Luminance Luma），U和V表示色度（Chrominance chroma），而色度，又定义了颜色的色调和饱和度。

YUV颜色编码格式在默认情况下是图像和视频压缩的标准，如下图所示，和RGB类似，每个像素先都包含Y、U、V3个分量，但是其中Y和UV是可以分离的，没有UV信息，也是可以显示图片的，只不过的黑白的。

从RGB颜色编码计算的图片存储空间，一张1280*720就要占用2.63MB，如果在视频渲染中也采样RBG颜色编码格式，其中视频也是由一帧一帧的图片组成，可想而知，占用的内存有多大。而使用YUV编码格式则可以极大的节省内存，节约带宽。

对于YUV图像来说，并不是每个像素点都需要包含Y、U、V三个分量，我们可以根据不同的采样格式，有以下几种采样格式：
1.YUV4:4:4：每个Y分量对应自己的UV分量
2.YUV4:2:2：两个Y分量共用一套UV分量
3.YUV4:2:0：4个Y分量共用一套UV分量
其中最常用的YUV格式则是YUV4:2:0。

YUV4:4:4 采样格式，表示其中的Y、U、V三个分量的采样比例是相同的，所以每个像素点的分量信息都是完整的，每个分量占用8bit，一个像素点占用1个字节。与RGB颜色编码相比，并没有节省带宽，占用的存储空间也没有减少

可以简单理解为：原始像素原样输出，没有任何压缩，如下图所示：

假设原始图像的像素为（一对[]表示一个像素点）：
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];

将原始图像像素按照YUV4:4:4采样的码流为(相对原始像素是原样输出)：
Y0, U0, V0, Y1, U1, V1, Y2, U2, V2, Y3, U3, V3

最后映射还原的像素点 = 原始图像的像素，为：
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];

其中映射过程如下图所示：

YUV4:2:2采样格式，是指其中Y分量的采样是UV分量的2倍，即Y分量与UV分量是按照2：1的比例采样。举例说明：如果水平方向有10个像素点，通过这种采样格式，最终采样了10个Y分量，5个UV分量。
可以通俗的理解为：每采样一个像素点，都会采样Y分量，而U、V分量则会间隔一个采集一个，如图所示：

假设原始图像的像素为（一对[]表示一个像素点）：
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];

将原始图像像素按照YUV4:2:2采样的码流为：
Y0, U0, Y1, V1, Y2, U2, Y3, V3

最后映射还原的像素点为：
[Y0, U0, V1]; [Y1, U0, V1]; [Y2, U2, V3]; [Y3, U2, V3];
其映射过程如图所示：

YUV4:2:0采样格式，并不是只采样U分量，而不采样V分量，而是在每一行扫描时，只扫描一种U/V其中一种色度分量，而Y按照2：1的方式采样。
举例说明：
当第一行扫描时，YU按照2：1的方式采样
当第二行扫描时，YV按照2：1的方式采样
对于每个色度分量来说，在水平方向和竖直方向的采样 和 Y分享相比都是2：1。
可以简单的理解为：在田字格的4个像素点中，4个Y分量共用了一套UV分量，如图所示：

假设原始图像的像素为（一对[]表示一个像素点）：
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];
[Y5, U5, V5]; [Y6, U6, V6]; [Y7, U7, V7]; [Y8, U8, V8];

将原始图像像素按照YUV4:2:0采样的码流为：
Y0, U0, Y1, Y2, U2, Y3,
Y5, V5, Y6, Y7, V7, Y8,

最后映射还原的像素点为：
[Y0, U0, V5]; [Y1, U0, V5]; [Y2, U2, V7]; [Y3, U2, V7];
[Y5, U0, V5]; [Y6, U0, V5]; [Y7, U2, V7]; [Y8, U2, V7];

其映射过程如图所示：

YUV4:4:4中Y、U、V分量的采样比例相同，既可以理解为原始图像像素点原样输出，存储空间没有任何变化

YUV4:2:2采样格式，是指每采样一个像素点，都会采样Y分量，而U、V分量则会间隔一个采集一个，本质是通过左右相邻像素点共用U/V分量。相比RGB颜色编码格式，节省了 1/3的存储空间，同时节约了在传输时的带宽

YUV4:2:0采样格式，是实际开发中最常用的颜色编码格式，相比YUV4:2:2采样格式，更能节省空间。是指在2*2的田字格中有4个像素点，其中4个Y分量共用一套UV分量，其本质是通过田字格的上下左右像素点共用U/V分量