1.1.4 去马赛克
人类视觉系统特征(与其他主要颜色相比人眼对绿色最敏感)，包含红蓝像元2倍数量的绿色像元。Sensor提供空间上的欠采样颜色通道(Bayer模式下有3种)信息，所有的颜色信息通过颜色插值算法(去马赛克)重构得到。去马赛克是非常关键的任务。这个步骤会产生许多令人讨厌的人造现象，严重影响图像质量：拉链效应，伪色，摩尔效应等。简单通道间插值算法(如，双线性，三次方)不太好用，更多先进的解决方案(通道间)被发明出来，基于空间域和频域。嵌入式设备中这些算法的复杂度必须较低。去马赛克往往不能完全消除伪色和拉链效应，因此图像处理流程中经常包括旨在去除残留人造现象的后处理模块。更多去马赛克算法介绍详见第7章。
1.1.5 颜色矩阵
A是3x3矩阵，RGBin和RGBout是颜色矩阵处理前后的图像。矩阵系数不是通过有效响应获取的，通常根据现实采集通过最优化方式得到。此外通常需要遵从白色保护限制，限制如下(详见第5章)：
1.1.6 图像格式
Sensor采集的数据必须能被协处理器或主机微处理器进行处理，因此两个系统必须共有一个通信协议和数据格式。此外，在图像生成pipeline的末端图像需要在标准格式下进行编码，这样图像在任意外设中都可读。通常sensor以bayer格式提供采集的图像。之前bayer数据都是以私有格式和协议进行存储和传输的。这种解决方案就存在缺点：每一个客户都需要设计相同的私有接口用以管理sensor数据。在过去的几年间，从事生产，购买或定义相机模组的主要公司提出新的标准，移动图像结构标准(SMLA)。它允许Sensor和不同销售商的主机间的互联。