lens 将光信号投射到 sensor 的感光区域后，sensor 经过
光电转换，将 Bayer 格式的原始图像送给 ISP，ISP 经过算法处理，输出 RGB 空间域
的图像给后端的视频采集单元。在这个过程中，ISP 通过运行在其上的 firmware 对 ISP
逻辑，lens 和 sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功
能。其中，firmware 的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者
串口完成对 ISP 的在线图像质量调节。
ISP 由 ISP 逻辑及运行在其上的 Firmware 组成，逻辑单元除了完成一部分算法处理
外，还可以统计出当前图像的实时信息。Firmware 通过获取 ISP 逻辑的图像统计信
息，重新计算，反馈控制 lens、sensor 和 ISP 逻辑，以达到自动调节图像质量的目的

ISP 控制结构示意图

ISP 的 Firmware 包含三部分，一部分是 ISP 控制单元和基础算法库，一部分是
AE/AWB 算法库，一部分是 sensor 库。Firmware 设计的基本思想是单独提供 3A 算法
库，由 ISP 控制单元调度基础算法库和 3A 算法库，同时 sensor 库分别向 ISP 基础算法
库和 3A 算法库注册函数回调，以实现差异化的 sensor 适配。

ISP firmware架构